写点什么

腾讯朱雀实验室最新研究成果入选全球安全顶会:声音克隆风险需警惕

  • 2021-04-19
  • 本文字数:2195 字

    阅读完需:约 7 分钟

腾讯朱雀实验室最新研究成果入选全球安全顶会:声音克隆风险需警惕

北京时间 4 月 16 日,全球顶级信息安全峰会 CanSecWest 2021 正在召开中。腾讯朱雀实验室受邀参加,并进行了题为《The Risk of AI Abuse: Be Careful with Your Voice(AI 被滥用的风险:小心您的声音安全》的分享。这也是连续第四年腾讯安全平台部旗下前沿安全研究团队的相关成果入选 CanSecWest 议题。

一、风险背景


人工智能有巨大的潜能改变人类命运,但同样存在一定安全风险。一方面,AI 基础设施潜藏安全风险。比如,全球著名漏洞数据库 CVE 披露的典型机器学习开源框架平台安全漏洞数量逐渐增多。另一方面,AI 设计研发阶段安全风险突出,出现了许多针对 AI 系统的新型安全攻击手法,如对抗样本攻击、数据投毒攻击、模型窃取攻击等。除此之外,AI 应用失控风险危害显著, 像“深度伪造”类应用,给大众带来新奇的体验的同时,也带来了新的安全隐患,一旦这类应用被攻击者滥用,将助长谣言传播、黑灰产诈骗等。

二、VoIP 电话劫持语音模拟攻击


AI 语音技术是 AI 的一个分支,随着 AI 技术的发展,AI 语音技术也在突飞猛进换代升级。通过基于 AI 的深度伪造变声技术,可以利用少量用户的声音生成他想要模仿的声音。这种技术给用户带来新奇体验的同时,也潜在安全风险。


深度伪造 AI 变声技术也可能成为语音诈骗的利器。研究发现,利用漏洞可以解密窃听 VoIP 电话,并利用少量目标人物的语音素材,基于深度伪造 AI 变声技术,生成目标人物声音进行注入,拨打虚假诈骗电话。


图 1. 整体流程


三、技术原理


总的来说,这种新型攻击的实现方式分为两个部分,一是 VoIP 电话劫持,二是语音模拟。


1. VoIP 电话劫持


(1)音频嗅探技术


在某品牌 CP-79XX 系列电话中,通信使用 SCCP 协议,该协议没有使用 TLS 对流量进行加密,导致可以在同 vLAN 下对目标电话进行窃听操作。


ARP 协议是网络行为中应用广泛的基础数据链路层协议,用于在局域网内完成 IP 到 MAC 地址的转换。在正常的网络通信中,我们在访问一个 IP 地址时首先会在同局域网下发送问询广播包:


Who has 10.15.2.1?


在接收到该广播的主机会比较问询 IP 是否为自己的 IP,如果是则向询问主机发送应答包,应答包中包含自身的 MAC 地址。随后询问主机会根据 MAC 地址构造自己的数据包完成数据交互。


在操作系统中存在 ARP 缓存表来加速这种映射关系,当黑客攻击 ARP 协议是会抢先应答 ARP 广播,从而造成被攻击者的 ARP 缓存表被投毒的情况,再后续的网络通信中,数据包均会被发送到黑客的主机中:


图 2. ARP 攻击示意


下图是真实的 ARP 应答包:


图 3 . 真实 ARP 应答流量


通过这种 ARP 欺骗的攻击方式,攻击者将被攻击者的语音流量劫持到攻击者主机,并进行 RTP 语音流的还原实现窃听操作:


图 4. VoIP 电话劫持:电话窃听


(2)来电身份及语音篡改


在监控电话流量时,攻击者通过修改 SCCP 协议中呼入者的用户名与电话号码信息:


图 5. 篡改呼入姓名与呼入电话


SCCP 协议在无法对呼入数据做真实性校验,而将数据包中的呼入姓名与来电号码完整的现实在来电屏中:


图 6. 篡改呼入姓名与呼入电话效果


在呼入姓名与呼入电话号码篡改后继续修改 RTP 协议中的语音流,实现完整的电话欺骗链路:


图 7. 语音流替换


2、语音模拟


语音模拟可以根据源人物的说话内容合成具有目标人物音色特征的音频输出。这项技术其实并不新鲜,早已在许多现实场景中应用落地,比如地图应用中的定制播报语音,利用少量自己的声音,就可以定制自己语音的播放声音。同样,在 VoIP 电话劫持中,利用少量被攻击者的声音,就可以合成与被攻击者音色相似的任意内容的语音片段,一旦被恶意利用,攻击者可以轻松拨打虚假电话,与目标人员对话。


这里语音模拟用的是语音克隆技术,该技术只需要数秒目标人物的音频数据和一段任意的文本序列,就可以得到逼真的合成音频。基于深度学习的语音克隆技术主要包含音色编码器、文本编码器、解码器、语音生成器几个模块:


音色编码器:音色编码器从音频中提取不同说话人的语音特征。文本编码器:文本编码器将输入文本转换为特征。解码器:解码器将说话人特征和文本特征拼接后的结果转化为梅尔声谱图。语音生成器:最后语音生成器根据梅尔声谱图合成语音。


图 8. 语音模拟过程


四、真实案例


英国某公司 CEO 遭 AI 语音诈骗,损失 220,000 欧元(约合人民币 173 万元)。


图 9. AI 语音诈骗 case


五、防范建议


如何防范这样的攻击,其实可以从防范传统攻击以及防范 AI 恶意应用两个角度来说。


首先,要防御类似的攻击手法,需要防止 VoIP 漏洞被攻击者利用,安全工程师建议,可以使用新版本的 VoIP 协议电话,如 SIP、SRTP 等,减少数据被嗅探甚至被篡改流量包的风险。


其次,可以用 AI 对抗 AI,规避 AI 技术的不合理应用。在这种攻击中,需要借助语音生成技术来合成虚假语音,可以基于 AI 技术来提取真实语音和虚假语音特征,根据特征差异来分辨真实语音和生成语音。


图 10. 用 AI 对抗 AI


六、结尾


其实针对语音的攻击手段并不只有这一种,可以给语音中添加微小扰动,或修改部分频谱信息,就可以欺骗语音识别系统。或者,将唤醒命令隐藏在不易察觉的音乐中,就可能唤醒智能设备进行对应操作。AI 应用失控问题不应忽视,应合理善用 AI 技术,捍卫技术的边界。


除了 AI 应用失控的问题,AI 的数据、算法、模型、基础组件等核心要素,均潜在安全隐患,AI 安全问题日益凸显。腾讯安全平台部下属的腾讯朱雀实验室,致力于实战级 APT 攻击和 AI 安全研究,不断发现现实网络安全风险,为 AI 业务提供安全保障。

2021-04-19 10:182872

评论

发布
暂无评论
发现更多内容

Groovy动态添加方法和属性及Spock单测

FunTester

Java 动态 spock Groovy FunTester

2021年Android高级面试题,成功入职字节跳动

android 程序员 移动开发

2021年大厂程序员进阶宝典,flutter面试题

android 程序员 移动开发

DeFi流动性挖矿系统开发资料(源码)

Defi挖矿系统开发简介(现成案例)

2021年GitHub上那些优秀Android开源库总结,花2万块买的教程

android 程序员 移动开发

2021年大厂程序员进阶宝典,Android开发基础面试题

android 程序员 移动开发

2021年字节跳动+京东+美团面试总结,查漏补缺

android 程序员 移动开发

2021最新中高级Android面试题目,2021必看

android 程序员 移动开发

2020-2021蚂蚁金服Android面试真题解析,使用指南

android 程序员 移动开发

在 pygame 中好好玩玩精灵,滚雪球学 Python 游戏番

梦想橡皮擦

10月月更

2021最新Android常用开源库总结,retrofit源码

android 程序员 移动开发

Vue进阶(幺肆肆):(window,parent,opener,top).location.reload方法分析

No Silver Bullet

Vue 页面刷新 10月月更

第 22 章 -《Linux 一学就会》- 跳出循环-shift参数左移-函数的使用

学神来啦

Linux linux运维 linux云计算 linux一学就会

2021年来看看Android的发展,程序员如何应对中年危机

android 程序员 移动开发

掘金万亿新IT服务大市场,联想智慧服务核心能力持续跃升

科技大数据

Apache APISIX 助力有赞云原生 PaaS 平台,实现全面微服务治理

API7.ai 技术团队

云原生 PaaS API网关 Apache APISIX

揭开MySQL Volcano模型迭代器性能提升千倍的秘密

华为云开发者联盟

MySQL 数据库 华为云数据库 MySQL Volcano 模型迭代器

2021年大厂程序员进阶宝典,真是经典中的经典

android 程序员 移动开发

2021高级Android笔试总结,帮你解决95%以上的问题

android 程序员 移动开发

4面阿里拿到P7Offer,Android开发指南

android 程序员 移动开发

2021年Android大厂面试分享,实战篇

android 程序员 移动开发

解密诡异并发问题的幕后黑手:可见性问题

华为云开发者联盟

并发编程 线程 并发 可见性 单核CPU

2021年Android春招面试经历,阿里秋招面试真题解析

android 程序员 移动开发

2021最值得加入的互联网公司有哪些,阿里三面

android 程序员 移动开发

Vue进阶(幺肆伍):Vue-elementUI实现操作栏位更多效果

No Silver Bullet

Vue 10月月更

全球6G专利独占4成,中国能否借此“制霸”元宇宙?

海比研究院

Python代码阅读(第43篇):构造组合函数

Felix

Python 编程 Code Programing 阅读代码

2021年Android程序员职业规划,Android开发技巧

android 程序员 移动开发

阿里云边缘云ENS再升级 产业数字化落地向何方?

阿里云Edge Plus

DeFi智能合约DAPP系统开发公司(现成)

腾讯朱雀实验室最新研究成果入选全球安全顶会:声音克隆风险需警惕_AI&大模型_腾讯朱雀实验室_InfoQ精选文章