写点什么

声网 Agora SDK 2.4 正式上线

  • 2019-11-30
  • 本文字数:2245 字

    阅读完需:约 7 分钟

声网 Agora SDK 2.4 正式上线

声网 Agora Voice/Video SDK 2.4 已经正式上线,大家可以在官网「开发者」中下载对应各系统平台的 SDK。新版本新增基础美颜、高优先级主播视频质量保障、趣味变声、听声辨位功能,可为全行业的多种场景带来更好的用户体验。


在 2.4 版中,我们优化了音频抗丢包的性能。在 1 对 1 教学、1 对 1 语音社交等通信、纯音频与音视频场景下,用户会得到更好的交互体验。围绕一些对音质要求较高的场景,例如音乐陪练、语音聊天室等,我们优化了 Android 端的音质效果。另外,我们在屏幕共享、本地视频回显效果、混响效果、质量透明等方面进行了优化。接下来,我们详细看一下本次的新增接口、功能改进,以及质量透明的最新特性。

新增功能

基础美颜

在社交、直播连麦,甚至是在线教育场景下,能以最好的状态示人,对主播们来讲非常重要。2.4 版 SDK 新增了基础美颜功能,通过以下新增方法可以轻松实现基础的美白、磨皮、红润等美颜效果。


setBeautyEffectOptions(boolean enabled, BeautyOptions options)
复制代码


该方法中有两个参数。 enabled 代表了是否开启美颜功能。 options 则包含了明暗对比度、亮度、平滑度、红润度四个参数,通过它们可以灵活调整美白、磨皮、红润等效果。

趣味变声

在社交娱乐和游戏中,变声功能可以进一步增加趣味性。2.4 版 SDK 新增了趣味变声功能,通过 setLocalVoiceChanger()方法,可以将用户的声音变为各种各样的角色。该方法目前提供了 6 种变声效果,包括老男孩、小女孩、绿巨人、猪八戒等。


预设声效太少?不是大问题。我们还开放了接口,可以通过调整音调、均衡和混响的参数值来定制自己想要的效果。


可以设想一下,在剧本杀这类角色扮演游戏中,可以用趣味变声,给玩家更进一步的游戏沉浸感。当然,大家也可以将这个方法应用于其它音视频互动场景下。

高优先级主播视频质量保障

这个新功能主要面向的是在线教育和一些直播社交的场景,优先让某个连麦用户收到的音视频质量为最高。大家可以通过 setRemoteUserPriority()这个新增接口来实现,只需要将某个用户的优先级设为高,那么发给这个用户的音视频流的优先级就会高于其他用户。在与 setRemoteSubscribeFallbackOption 搭配使用时,即使该用户处于弱网状态下,也能保证他收到的音视频的质量。具体用法,大家可以参考声网 Agora 开发文档。

听声辨位

听声辨位这个功能,我们曾经介绍过,也已经应用于“小米枪战”中。现在该功能已被加入到 Native SDK 2.4 版中。通过新增的 enableSoundPositionIndication 和 setRemoteVoicePosition 方法,可以实现听声辨位功能,给角色扮演类游戏、射击游戏、多人竞技游戏等增加角色方位感,用声音来提升游戏沉浸感。


开发者需要在加入频道前调用 enableSoundPositionIndication 开启远端用户的语音立体声,然后在 setRemoteVoicePosition 中设置远端用户声音出现的位置,通过左右耳听到的声音差异,对远端用户的声音产生方位感。详细参数,大家需要参考文档来进行设置。

本地预览与性能优先

在过去的版本中,我们默认由 SDK 来自动控制摄像头的输出参数。但我们发现这可能无法满足一些场景的需求,甚至有时候会因为增加了视频的后处理(比如美颜、特效)会引起设备性能问题。所以我们增加了新的接口 setCameraCaptureConfiguration,通过设置摄像头采集偏好,开发者可以根据实际场景选择优先保证设备性能还是视频质量。

功能优化

屏幕共享

屏幕共享是广泛应用于视频会议和在线教育场景中的功能。2.4 版对该功能进行了多项优化,包括:


  • 支持外接屏幕共享

  • 支持设置屏幕共享分辨率、帧率、码率

  • 支持在屏幕共享过程中,动态调整共享区域、帧率、码率和分辨率

  • 针对不同分辨率,可精确定位鼠标位置

  • 支持设置分享内容为清晰度优先或流畅度优先

  • 支持在桌面或窗口共享时,指定共享其中的某个区域。

  • 在窗口共享时,支持窗口大小的动态变化

  • 关于以上功能优化所对应的新增接口及使用方法,可以在文档中心搜索“进行屏幕共享”,来阅读详细的接口调用方法。

高音质优化

在新版本 SDK 中,我们优化了 Agora 引擎的回声消除算法。在音乐陪练、语音聊天室等一些对音质要求较高的场景下,该优化可保证音乐的音质不受损失。

质量透明

通话前 Last-mile 网络探测

在通话前进行 Last-mile 网络探测,可以有效帮助本地用户判断和预测上行网络质量是否良好。该版本新增通话前 Last-mile 网络探测接口,向用户反馈开始通话前上下行网络的带宽、丢包、网络抖动和往返时延数据。接口包括:


  • startLastmileProbeTest:开始 Last-mile 网络探测

  • stopLastmileProbeTest:停止 Last-mile 网络探测

  • lastmileProbeResult:Last-mile 网络探测结果回调

语音通话回路测试

在新版本中,新增 startEchoTestWithInterval 接口取代原有的 startEchoTest。该方法会启动语音通话测试,检测系统的音频设备(耳麦、扬声器等)和网络连接是否正常。通过新接口中的参数 intervalInSeconds,可以设置测试结果返回的时间间隔。

音频设备回路测试

该版本新增音频设备回路测试接口 startAudioDeviceLoopbackTest 与 stopAudioDeviceLoopbackTest,用于测试本地的麦克风和播放设备能否正常工作。该测试在本地进行,不涉及网络传输。

通话中视频流信息透明

该版本在本地视频流统计信息 AgoraRtcLocalVideoStats 类中新增 sentTargetBitrate,sentTargetFrameRate,qualityAdaptIndication 三个参数,分别反映目标码率、目标帧率与和上次返回的本地视频流统计信息相比,本地视频质量的自适应情况。


本文转载自公众号声网 Agora(ID:shengwang-agora)。


原文链接:


https://mp.weixin.qq.com/s/kQif6MAXb5MQJeoWQN0oHQ


2019-11-30 13:511062

评论

发布
暂无评论
发现更多内容

用eBPF/XDP来替代LVS(三)

九零后程序员

云计算 Linux 云原生 LVS ebpf

Zebec生态进展迅速,频被BitFlow、Matryx DAO等蹭热度碰瓷

西柚子

聊聊「短信」渠道的设计与实现

Java 架构

Kafka实时数据即席查询应用与实践

vivo互联网技术

kafka 实时数仓

技术分享| 融合会议协议大解密

anyRTC开发者

音视频 视频会议 快对讲 H.323 融合会议

得物前端巡检平台的建设和应用

得物技术

巡检

Solaris Network评述:在DeFi衍生品领域的颠覆者

股市老人

2023-05-25:给定一个正整数 x,我们将会写出一个形如 x (op1) x (op2) x (op3) x ... 的表达式 其中每个运算符 op1,op2,… 可以是加、减、乘、除之一 例如

福大大架构师每日一题

Go 算法 rust 福大大

YB时代,正寻找新的数据支点

脑极体

存储

iOS MachineLearning 系列(18)—— PoseNet,DeeplabV3与FCRN-DepthPrediction模型

珲少

Zebec生态进展迅速,频被BitFlow、Matryx DAO等蹭热度碰瓷

股市老人

Django笔记三十六之单元测试汇总介绍

Hunter熊

Python django 单元测试

华为云Toolkit活动:领取云计算8大领域50本干货电子书!

华为云PaaS服务小智

云计算 程序员 开发者 编程数据

JVM垃圾收集器全面剖析:算法、实现和优化

xfgg

Java JVM GC

Flutter热更新技术探索 | 京东云技术团队

京东科技开发者

flutter ios App an'droid 企业号 5 月 PK 榜

数智领航营:酒类农牧业数智化转型中的数智化决策实践

博睿数据

可观测性 博睿数据 数智化 数智领航营 酒类农牧业

大象转身只需点点鼠标,爆火 DragGAN 原理浅析

Zilliz

Towhee draggan

文心一言 VS 讯飞星火 VS chatgpt (22)-- 算法导论4.2 2题

福大大架构师每日一题

福大大 ChatGPT 文心一言 讯飞星火

Zebec生态官宣与BitFlow、Matryx DAO等无关,切勿碰瓷

BlockChain先知

实例讲解Spring boot动态切换数据源

华为云开发者联盟

后端 开发 华为云 华为云开发者联盟 企业号 5 月 PK 榜

【深度剖析】JavaScript中块级作用域与函数作用域

Immerse

JavaScript 闭包 作用域 函数作用域 块级作用域

数据可视化:部分整体类可视化图表大全

2D3D前端可视化开发

数据分析 数据可视化 数据可视化工具 可视化图表 数据可视化设计

音频编辑工具 Celemony Melodyne Studio5激活

真大的脸盆

Mac Mac 软件 音频编辑 音频处理工具 编辑音频

易观千帆 | 2023年4月银行APP月活跃用户规模盘点

易观分析

金融 数字经济 手机银行

WICC · 出海嘉年华|嘉宾就位、话题揭晓,峰会 & 派对报名倒计时

融云 RongCloud

融云 峰会 泛娱乐 出海 wicc

破解提升 LLMs 性能的黑匣子—— LlamaIndex

Zilliz

Milvus AIGC LLM llamaindex

线程是如何通讯的?

javacn.site

AIGC背后的技术分析 | 机器学习?机器如何学习?

TiAmo

机器学习 AIGC julia

使用CST电磁仿真之前,如何安装硬件加速卡?【操作流程】

思茂信息

cst cst使用教程 cst操作 cst电磁仿真 cst仿真软件

超融合产品集成 Kata 虚拟化容器技术的方案演进 | 龙蜥技术

OpenAnolis小助手

开源 容器 虚拟化 龙蜥社区 龙蜥大讲堂

声网 Agora SDK 2.4 正式上线_文化 & 方法_声网_InfoQ精选文章