立即领取|华润集团、宁德核电、东风岚图等 20+ 标杆企业数字化人才培养实践案例 了解详情
写点什么

AI 一句话骗走 24 万美元,开源模型要背锅?

  • 2019-09-04
  • 本文字数:1715 字

    阅读完需:约 6 分钟

AI一句话骗走24万美元,开源模型要背锅?

当地时间 8 月 30 日,《华尔街日报》消息:有犯罪分子使用基于人工智能的软件冒充某能源公司德国总部 CEO 的声音,对英国分公司进行欺诈,并成功骗取了 220,000 欧元(约 243,000 美元)。网络犯罪专家称这是一种利用 AI 进行黑客攻击的不寻常案例。

“我是你老板,给我打钱”

今年 3 月,犯罪分子利用 AI 语音合成软件,合成了英国某能源公司德国总公司 CEO 的声音,冒充老板对英国公司的负责人进行欺诈,让他在一小时内紧急将资金汇给一家匈牙利供应商,并保证这笔资金将立即得到偿还。


报道称,该公司首席执行官表示:由于听到了熟悉的轻微德国口音和他老板的声音模式,所以对于转账的指令没有任何怀疑。但最后的结果是,不仅转账的费用没有得到及时返还,骗子们还要求另一笔紧急汇款。然而这一次,这位英国分公司负责人拒绝了付款请求。


最终,这笔转到匈牙利的资金最终被转移到了墨西哥和其他地方。当地警方尚未确定此次网络犯罪行动背后的嫌疑人。


据了解,该公司由欧拉爱马仕集团(Euler Hermes Group)承保,由集团负责支付全部费用。公司名称和相关各方均未披露。

声音版 DeepFake 成为新的犯罪手段

有网络安全专家表示:基于人工智能的网络攻击仅仅是未来企业和组织可能面临的主要难题的开始。尤其当这种性质的攻击被证明是成功的,同类案件发生的频率可能会成倍增加。


随着模仿声音工具的改进,犯罪分子利用这些工具牟利的可能性也在增加。通过在电话中伪装身份,威胁受害者从而更加容易获得原本属于私人的信息,并利用这些信息达到别有用心的目的。


早在今年 7 月,以色列国家网络理事会(Israel National Cyber Directorate)就发出了“新型网络攻击”的警告,这种攻击利用人工智能技术冒充企业高管,指示员工在网络上进行转账等恶意活动。


专家表示:与人工智能相关的同类犯罪已经造成了第一个受害者,这一事实应该引起关注。


去年,设计反欺诈语音软件的网络安全公司 Pindrop 报告称:从 2013 年到 2017 年,语音欺诈案件增加了 350%,大约在 638 个电话中就有 1 个是欺诈类 AI 软件拨打的。


也有业内人士认为,为了保护公司免受经济和声誉的影响,重要的是要通过后续电子邮件或其他替代方式验证“语音”指令。


基于人工智能的工具的兴起有其优点和缺点。一方面,它为探索和创造提供了更广阔的空间;另一方面,它也为新型的犯罪、欺诈等手段提供了生长的“温床”。

开源模型成“罪魁祸首”?

前几天,在中国火爆的一款名为“ZAO”的应用软件也被质疑恶意收集用户面部信息,更有专业的法律人士发现,这款软件的用户条款里存在“打擦边球”的漏洞。北京时间 9 月 4 日,工信部对 ZAO 软件开发公司进行了约谈,并要求整改。


跟“ZAO 事件”一样,声音版 DeepFake 也在技术论坛上引发了人们对于开源模型的担忧。在Reddit论坛上,已经有不少人对此类事件展开了讨论:


开源社区中有许多正在进行的开源语音合成模型项目。此外,一些开源语音合成模型已在未经他人同意的情况下进行着声音训练。

这些模型可能会被滥用,我们不能在未经别人同意的情况下克隆任何人的声音。一个人的声音模型可以使其面临更高的骚扰和欺诈风险。


也有人从另外的角度提出建议:能否从保护受害者的角度是否可以采取一些措施?有些受害者甚至自己都不知道已经在无意中泄露了隐私。


我们不应该仅仅因为有恶意使用而禁止语音合成技术,正如我们不应该因为同样的理由禁止互联网一样。我们也不能期望每个人都能够跟上时代,并且清楚地了解机器/深度学习可能带来的新型威胁。在这里参与讨论的每一个人基本都知道“DeepFake”是什么东西,但是其他人呢?


一个让人有些无奈的事实是:参与讨论的大部分人都表示,无法阻止有人利用技术作恶,目前人们能做的,也只能是期待尽快立法来对部分技术的使用加以约束,并加强对普通用户的安全教育。


不过,也有人表示目前已有的在线模型质量其实并没有那么好:它们仍然需要 10-20 个小时的音频数据;在优化的硬件上,这些模型的实际推理速度为 16-60 倍;这些模型在自然度(MOS)方面的表现通常比串联语音合成差;它们在不同的场景下表现参差不齐,并不能很好地模仿和表达声音。


但是,技术终将走向成熟,它会更具有伤害别人的潜力,使用者到底会用它来做什么,仍然是一个巨大的不可控的因素。


2019-09-04 16:322636
用户头像
陈思 InfoQ编辑

发布了 576 篇内容, 共 276.4 次阅读, 收获喜欢 1301 次。

关注

评论

发布
暂无评论
发现更多内容

学而思二代旗舰学习机精准学Pro 值得买吗

妙龙

学而思

秒合约/币币交易所系统开发方案项目/步骤详细解析

V\TG【ch3nguang】

币币交易所系统开发

华为账号“一键登录”能力让美团用户尽享安全便捷的登录体验

HarmonyOS SDK

HarmonyOS

事业-最佳实践-个人-拥抱变化

南山

Meetup 回顾:存算引擎一体化建设

Databend

事业-最佳实践-个人-做事原则

南山

2025杭州国际智慧城市展览会

AIOTE智博会

智慧城市展览会 智慧城市展会 智慧城市博览会

虚拟滚动 - 从基本实现到 Angular CDK

PingCode研发中心

大数据 虚拟滚动

独家为《白蛇:浮生》提供云渲染服务,腾讯云助力追光动画再现东方美学

ToB行业头条

腾讯云

事业-最佳实践-个人-学会说不

南山

茶思屋直播|解锁TinyEngine无限可能,从0到1打造多领域低代码设计器实战

OpenTiny社区

开源 前端 低代码 OpenTiny

这个是我的测试编辑器的内容

网站,小程序,APP开发定制

Vue 和 React 各自的背景和特点

伤感汤姆布利柏

AI 创业及变现新思路:零门槛 AI 绘图,定制 ComfyUI Serverless API 应用

阿里巴巴云原生

阿里云 Serverless 云原生

科大讯飞会议耳机pro2 怎么样

妙龙

科大讯飞

阿里巴巴拍立淘API返回值:商品搜索与社交媒体的融合

技术冰糖葫芦

API Explorer API boy API 接口 API 测试

网速慢影响海外业务?全球应用加速可以解决!

Ogcloud

网络加速 全球应用加速 企业网络加速 网络加速服务

数智重庆.全球产业赋能创新大赛总决赛极客奖队伍比赛攻略_球球君

阿里云天池

大疆 DJI Pocket 2 和3对比评测

妙龙

大疆

必看!时序大模型的发展、玩家与效果对比

Apache IoTDB

亚信安慧AntDB数据库荣列“2024金融信创优秀服务商TOP50”榜单

亚信AntDB数据库

AntDB

AI大模型快速生成题库-助力业务人效提升10+倍

京东科技开发者

阿里云2024云栖大会,来了!

MasterInTech

海外直播对网络的要求有哪些?

Ogcloud

海外直播专线 海外直播 tiktok直播 tiktok直播专线 海外直播网络

社区胜于代码,我们在阿帕奇软件基金会亚洲大会聊了聊开源中间件的未来

阿里巴巴云原生

Apache 阿里云 云原生

"数据驱动增长,实时监控商品信息是关键 —— 淘宝API的实战应用"

技术冰糖葫芦

API Explorer API boy API 接口 API 测试

Web3 游戏周报(8.11 - 8.17)

Footprint Analytics

链游

大航杯智造扬中电力AI大赛RANK6思路总结

阿里云天池

AI 实时通话视频生成产品 Tavus:能听说看且有形象;Anthropic 推出 API 长文本缓存功能丨 RTE 开发者日报

声网

电商搜索革命:大模型如何重塑购物体验?

京东科技开发者

AI一句话骗走24万美元,开源模型要背锅?_AI&大模型_陈思_InfoQ精选文章