写点什么

AI 一句话骗走 24 万美元,开源模型要背锅?

  • 2019-09-04
  • 本文字数:1715 字

    阅读完需:约 6 分钟

AI一句话骗走24万美元,开源模型要背锅?

当地时间 8 月 30 日,《华尔街日报》消息:有犯罪分子使用基于人工智能的软件冒充某能源公司德国总部 CEO 的声音,对英国分公司进行欺诈,并成功骗取了 220,000 欧元(约 243,000 美元)。网络犯罪专家称这是一种利用 AI 进行黑客攻击的不寻常案例。

“我是你老板,给我打钱”

今年 3 月,犯罪分子利用 AI 语音合成软件,合成了英国某能源公司德国总公司 CEO 的声音,冒充老板对英国公司的负责人进行欺诈,让他在一小时内紧急将资金汇给一家匈牙利供应商,并保证这笔资金将立即得到偿还。


报道称,该公司首席执行官表示:由于听到了熟悉的轻微德国口音和他老板的声音模式,所以对于转账的指令没有任何怀疑。但最后的结果是,不仅转账的费用没有得到及时返还,骗子们还要求另一笔紧急汇款。然而这一次,这位英国分公司负责人拒绝了付款请求。


最终,这笔转到匈牙利的资金最终被转移到了墨西哥和其他地方。当地警方尚未确定此次网络犯罪行动背后的嫌疑人。


据了解,该公司由欧拉爱马仕集团(Euler Hermes Group)承保,由集团负责支付全部费用。公司名称和相关各方均未披露。

声音版 DeepFake 成为新的犯罪手段

有网络安全专家表示:基于人工智能的网络攻击仅仅是未来企业和组织可能面临的主要难题的开始。尤其当这种性质的攻击被证明是成功的,同类案件发生的频率可能会成倍增加。


随着模仿声音工具的改进,犯罪分子利用这些工具牟利的可能性也在增加。通过在电话中伪装身份,威胁受害者从而更加容易获得原本属于私人的信息,并利用这些信息达到别有用心的目的。


早在今年 7 月,以色列国家网络理事会(Israel National Cyber Directorate)就发出了“新型网络攻击”的警告,这种攻击利用人工智能技术冒充企业高管,指示员工在网络上进行转账等恶意活动。


专家表示:与人工智能相关的同类犯罪已经造成了第一个受害者,这一事实应该引起关注。


去年,设计反欺诈语音软件的网络安全公司 Pindrop 报告称:从 2013 年到 2017 年,语音欺诈案件增加了 350%,大约在 638 个电话中就有 1 个是欺诈类 AI 软件拨打的。


也有业内人士认为,为了保护公司免受经济和声誉的影响,重要的是要通过后续电子邮件或其他替代方式验证“语音”指令。


基于人工智能的工具的兴起有其优点和缺点。一方面,它为探索和创造提供了更广阔的空间;另一方面,它也为新型的犯罪、欺诈等手段提供了生长的“温床”。

开源模型成“罪魁祸首”?

前几天,在中国火爆的一款名为“ZAO”的应用软件也被质疑恶意收集用户面部信息,更有专业的法律人士发现,这款软件的用户条款里存在“打擦边球”的漏洞。北京时间 9 月 4 日,工信部对 ZAO 软件开发公司进行了约谈,并要求整改。


跟“ZAO 事件”一样,声音版 DeepFake 也在技术论坛上引发了人们对于开源模型的担忧。在Reddit论坛上,已经有不少人对此类事件展开了讨论:


开源社区中有许多正在进行的开源语音合成模型项目。此外,一些开源语音合成模型已在未经他人同意的情况下进行着声音训练。

这些模型可能会被滥用,我们不能在未经别人同意的情况下克隆任何人的声音。一个人的声音模型可以使其面临更高的骚扰和欺诈风险。


也有人从另外的角度提出建议:能否从保护受害者的角度是否可以采取一些措施?有些受害者甚至自己都不知道已经在无意中泄露了隐私。


我们不应该仅仅因为有恶意使用而禁止语音合成技术,正如我们不应该因为同样的理由禁止互联网一样。我们也不能期望每个人都能够跟上时代,并且清楚地了解机器/深度学习可能带来的新型威胁。在这里参与讨论的每一个人基本都知道“DeepFake”是什么东西,但是其他人呢?


一个让人有些无奈的事实是:参与讨论的大部分人都表示,无法阻止有人利用技术作恶,目前人们能做的,也只能是期待尽快立法来对部分技术的使用加以约束,并加强对普通用户的安全教育。


不过,也有人表示目前已有的在线模型质量其实并没有那么好:它们仍然需要 10-20 个小时的音频数据;在优化的硬件上,这些模型的实际推理速度为 16-60 倍;这些模型在自然度(MOS)方面的表现通常比串联语音合成差;它们在不同的场景下表现参差不齐,并不能很好地模仿和表达声音。


但是,技术终将走向成熟,它会更具有伤害别人的潜力,使用者到底会用它来做什么,仍然是一个巨大的不可控的因素。


2019-09-04 16:322626
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 274.9 次阅读, 收获喜欢 1301 次。

关注

评论

发布
暂无评论
发现更多内容

学好web前端培训课程方法推荐

小谷哥

安全至上:落地DevSecOps最佳实践你不得不知道的工具

龙智—DevSecOps解决方案

DevOps DevSecOps

不改一行源码,实现 sentinel-dashboard 所有配置支持 apollo 持久化

铁匠

微服务 sentinel 流量控制 sentinel dashboard

开源一夏 | Python Web开发(八):后端开发中的增查改删处理

是Dream呀

开源

A tour of gRPC:06 - gRPC client straming 客户端流

BUG侦探

gRPC RPC

Redis进阶之路:深度解析Redis单线程架构,图文并茂不能再清晰了

王小凡

Java redis 程序员 开发

「全球数字经济大会」登陆 N 世界,融云提供通信云服务支持

融云 RongCloud

isc N世界

我用这一招让团队的开发效率提升了 100%!

Liam

程序员 前端 后端 开发 API

KunlunBase 1.0 发布了!

KunlunBase昆仑数据库

国产数据库

大数据培训机构大概要花费多少钱

小谷哥

参加前端培训后程序员能找到工作吗?

小谷哥

制胜精细化运营时代 华为应用市场打出内容、场景、商业运营组合拳

Geek_2d6073

用 Lunchbox 在 vue3 中创建一个旋转的 3D 地球竟是如此简单

前端修罗场

3D 地球 ThreeJS

什么是SVN(Subversion)?

龙智—DevSecOps解决方案

svn 版本控制 版本管理 版本控制软件

全面认识二极管,一篇文章就够了

矜辰所致

ESD二极管 8月月更 二极管 电子设计基础 TVS二极管

搭建属于自己的知识库(Wikijs)

开源 wiki 知识库 8月月更

2022年值得尝试的7个MQTT客户端工具

EMQ映云科技

物联网 IoT mqtt 客户端 8月月更

研发了 5 年的时序数据库,到底要解决什么问题?

TDengine

数据库 tdengine

数字孪生园区场景中的坐标知识

ThingJS数字孪生引擎

数字孪生

融云「 IM 进阶实战高手课」系列直播上线

融云 RongCloud

IM 连接协议

创新云集技术咖,工赋汇聚实战派:2022工赋开发者峰会

工赋开发者社区

工业 峰会

玩转云端 | 天翼云对象存储ZOS高可用的关键技术揭秘

天翼云开发者社区

云平台 云存储

大数据培训如何部署一个健壮的Airflow

小谷哥

Python 教程之输入输出(2)—— 输入和输出

海拥(haiyong.site)

Python 8月月更

CWE4.8:2022年危害最大的25种软件安全问题

华为云开发者联盟

安全 后端 开发

一文搞懂│php 中的 DI 依赖注入

设计模式 依赖注入 8月月更 高级编程

大数据培训班如何选

小谷哥

电烙铁的基础知识

单宝华

电子技术 8月月更

开源一夏|数据结构课设:基于字符串模式匹配算法的病毒感染检测问题

是Dream呀

开源

开源一夏 | 数据结构课设:图书信息管理--顺序存储和链式存储

是Dream呀

开源

百问百答第49期:极客有约——国内可观测领域SaaS产品的发展前景

博睿数据

可观测性 智能运维 博睿数据 极客有约 中信证券

AI一句话骗走24万美元,开源模型要背锅?_AI&大模型_陈思_InfoQ精选文章