解决这 4 个难题，IoT 低功耗设备也能有高清视频通话

如果有人跟你聊“实时音视频通话功能”，你会想起什么？视频聊天、在线课堂，还是朋友之间的游戏开黑？其实，还有一个复杂且巨大的领域，有着旺盛的“互动”需求，那就是 IoT 领域。

很多大厂商不是已经开始布局，就是已经推出了相应产品。例如，在去年由“能打电话的智能手表”变为“能视频的电话手表”的小天才（如视频演示）；在今年 2019 CES 上，多家厂商都推出了支持实时视频的智能门禁。

总体来讲，希望集成实时音视频功能的低功耗智能设备有以下几类：

• 智能手表：“能打电话”已成很多儿童智能手表的标配，而“能视频通话”的智能手表已经纷纷出现在海内外市场上。

• 智能眼镜：基于实时音视频与后处理技术（如 AR、计算机视觉算法）可以实现多种场景

• 智能摄像头：安防监控、视频交互一直是智能摄像头的重要功能

• 机器人：家庭机器人及少数公共场所的机器人，需要实时音视频功能

• 智能门禁：通过实时音视频实现远程安防、通话

低功耗设备上视频通话的难点

如果我们曾利用 WebRTC 在手机上实现了实时音视频通话，那么我们是否可以将它照搬到低功耗设备上呢？

答案是“不能”。低功耗智能设备在硬件、软件方面都与手机不同，所以对实时音视频通信的要求也有所不同，这导致了手机的方案无法直接拿来就用。以智能手表为例，如果要实现实时音视频，需要满足以下要求：

1. 功耗要低

很多低功耗智能设备的电池容量，以及可支持的功率有限。另一方面，很多智能设备采用的 CPU 性能有限，在进行音视频通话的同时，还要支持系统、常驻功能的运转。一般的解决方案，无法做到稍长时间的视频通话，最大的障碍就在于能耗。随着通话时长的积累，高负荷运转的设备会发热。所以低功耗十分必要。

2. 实时音视频不可占用过多内存

智能设备的内存有的高，有的低，要看是什么类型的设备。但智能手表这类产品的内存一般都不高。在这样的背景下，如果要在设备上进行实时音视频通话时，不能占用太多内存资源，否则会影响设备的正常使用。

3. 跨平台、跨设备的通话支持

智能设备并不像手机这样普及，所以当你在通过智能手表、智能眼镜与他人通话时，对方所使用的可能是手机或 Web 浏览器。所以还需要支持智能设备与其它平台的通话。

4. 提供高音质高画质体验

音视频通话的质量始终是关键，画面的卡顿、模糊，声音出现回声、噪声都是用户无法接受的。但是，一套音视频方案在别人的智能手表上跑通了的时候，并不意味着完全能用于你的设备。

还是以 WebRTC 为例，它本身具备回声消除模块，但一个回声消除算法的设计实现与设备、系统状态紧密相关。我们曾经在一篇文章中讲过。声音经过扬声器传导到麦克风，经过了多少路径就被处理多少次。不同的设备材质，甚至设备发热，都会导致声传导特性不一样，都会导致回声消除算法不一样。这是设备的差异带来的影响。

另一方面，回声消除里有两大模块，自适应滤波和非线性处理。自适应滤波前置第一个模块就是延时搜索。延时估计要在一定范围内估计，就是要有一个预先设计的 delay 值，如果在一个很大的范围内搜索，会极大消耗 CPU 资源。而 Android 系统的线程调度设计存在特殊性，一旦资源抢占，会在 Android 底层 buffer 产生延时，可能会导致之前预设的 delay 值不准。而低功耗智能设备的系统存在很多细微差异，就更需要有针对性地优化算法了。

所以，在低功耗智能设备上实现视频通话，并不是用一套通用的 demo，通过短短几步的配置、接口调用就能实现的。想要好的通话体验，都需要围绕你的设备进行调优。这也是难点之一。

声网低功耗智能设备场景方案

尽管如此，我们还是可以解决以上大部分问题。针对低功耗设备的硬件、软件系统的特点，我们对 Agora SDK 进行了多方面的优化，包括编码算法、降噪算法，帧率和分辨率的优化算法，推出了低功耗版本 Agora SDK ，支持低功耗智能设备与其它设备与平台进行视频通话。

声网低功耗智能设备场景方案的特点：

1. 跨平台实时语音通话

声网创建了基于 UDP 协议的软件定义实时网络 SD-RTN™，并在全球部署的近 200 个数据中心。通过 Agora SD-RTN™虚拟通信网络，集成声网方案的低功耗设备，可以与 Web 浏览器、手机端进行实时的音视频通话。

2. 低功耗、低内存占用

占用的内存小，正常通话发热量小，可以保证用户之间的较长时间的正常通话，经测试在小天才智能手表上可进行 15 分钟的长时间视频通话。

3. 支持主流软硬件平台

该方案适用于基于 ARM 架构、Android 系统平台的低功耗智能设备，只需要在集成后调优 setVideoProfile、setAudioProfile 参数即可正常通话。

目前，声网智能设备低功耗 SDK 已经应用于多类智能硬件产品上，包括智能手表、智能眼镜、智能音箱、智能摄像头、机器人、智能门禁等 IoT 设备，被集成于小天才、亮亮视野、小米等多个品牌的产品中。

本文转载自公众号声网 Agora（ID：shengwang-agora）。

原文链接：

https://mp.weixin.qq.com/s/MWQK6rzXcgbZX8BSH3ymaA