看似“佛系”的手游《QQ 炫舞》，背后的音频技术一点都不简单

3 月 14 日，腾讯旗下知名手游《QQ 炫舞》正式上线各大应用商店，并迅速登上 App Store 免费游戏总榜第一位。作为一代玩家的青春记忆，早在游戏发布前，《QQ 炫舞》手游全渠道预约人数就已突破 2000W，其火爆程度不亚于腾讯旗下两款吃鸡手游。

音字同步，腾讯音频技术解决业内难题

《QQ 炫舞》手游由端游原班人马打造，产品的核心体验与端游版本一致。此外，《QQ 炫舞》手游还推出了弹珠模式、游戏内实时 K 歌房等多种独创玩法。然而在创新的同时也带来了一些音频技术上的难题：比如 K 歌时 人声、伴奏与歌词的对齐，K 歌场景下多人同时语音时，如何做到声音清晰且避免回音等。

游戏语音多应用在实时语音、多人会话、发送语音消息等场景，而《QQ 炫舞》手游的实时 K 歌玩法在音频处理上的复杂度上远远超出了正常范畴。正常情况下，玩家在 K 歌过程中，是听到伴奏之后再演唱，声音由麦克风收录后再输出。但由于游戏场景中系统采集播放模块存在延时，尤其是 Android 系统机型多、采集播放延时大等因素的影响，如果仅按照正常模式来进行合成，会出现明显的人声、伴奏和歌词不对齐的情况。一旦出现这种情况，再美妙的天籁歌声也会变成“车祸现场”，给玩家带来非常糟糕的游戏体验。

这些技术难题对于《QQ 炫舞》手游来说，无疑是一项重量级挑战。腾讯音视频实验室提供的游戏多媒体引擎 GME（Game Multimedia Engine）作为游戏内 K 歌玩法和多人实时语音的解决方案，使得《QQ 炫舞》手游呈现出的效果超乎预期：

从视频可以看到，玩家 K 歌时，人声、伴奏和歌词都是对齐的，并且彼此之间还有一定程度的混响效果。当玩家说话时，歌声和说话声 “彼此隔离”，使每个声源都可以清晰呈现，且在混合发声时也不存在嘈杂感，极大程度地提升玩家在游戏时的线上 K 歌体验。

对此，腾讯音视频实验室的技术专家们解释说：“我们充分考虑到网络抖动对声音传输的影响，通过处理由此引入的波形变换，做到了帧级的人声、歌词与伴奏的精准同步。”

基于自研、优秀的高音质回声抵消技术，GME 能保证玩家在多人实时语音场景下听清每个人说话的声音，且不会发生人声被剪切的情况。更富创意的是，如果玩家在其他玩家唱歌时说话，还能切换成电台的 duking 效果，提升观众与发声者的声音体验。

除此之外，GME 的一些“看不见”的能力也为玩家所称道，比如为玩家提供 30ms 级别的超低延时耳返；此外，由于 K 歌场景下的高音质对网络传输要求更高，对弱网优化、抗抖动的要求也更加苛刻，GME 也很好地满足了这些需求。

GME 攻克音频难点，为游戏提供一站式游戏语音解决方案

除了实时 K 歌场景，GME 还对《QQ 炫舞》手游的实时语音功能进行了技术支持。GME 产品有着成熟的音频处理经验，特别在基础性能方面，已为 400 多个产品提供了音频技术支持，技术在业内可谓遥遥领先。GME 支持游戏开黑、休闲游戏、音频直播等不同场景，在不同场景下提供不同的音质体验和不同的抗网络损伤技术，力求给用户带来最佳的游戏体验。实时语音音质在网络无损的场景下的平均 MOS 分达到 4.38（满分 5 分），平均延时低于 200ms；通过先进的丢包恢复技术、丢包补偿算法以及优秀的网络抗性，即使在 50%以上丢包、1000ms 的网络抖动下，也能保持顺畅的沟通和很好的音质。

对于游戏玩家很关心的流量消耗和 CPU 占用问题，GME 也做了相应优化，例如在 MOBA 类游戏中，在保证正常的语音沟通和良好的性能前提下，移动网络模式每分钟流量消耗低于 500KB，CPU 占用率平均在 10%以下等。

值得一提的是，GME 自研的 3D 实时语音技术，利用 HRTF 算法对双耳之间的时间差异和频谱差异建立人耳获取声音模型，将无方位感的声音处理成带有声源方位感的声音，从而虚拟出空间中任意位置的声源对人耳造成的感觉。这种技术可以应用在“吃鸡”和棋牌类游戏场景上，通过提供听声辨位的能力，让玩家获得更好的游戏体验。

凭借语音效果好、接入门槛低的方案特点，GME 覆盖了休闲社交类、MOBA 类、MMORPG 等多种游戏类型，提供实时语音、语音消息、语音转文本等功能。如今，通过针对游戏类型、游戏场景的深度优化，GME 积累了深厚的技术底蕴，同时通过覆盖超过 400+游戏产品的技术支持，不断积累技术经验，为玩家打造畅爽的游戏语音体验，展示了领先业内的技术实力。

本文转载自公众号云加社区（ID：QcloudCommunity）。

原文链接：

https://mp.weixin.qq.com/s/b9m5R-IgXXM_vthna2vnow