写点什么

研究人员利用 80 年代的技巧来攻击 LLM

  • 2024-04-22
    北京
  • 本文字数:1010 字

    阅读完需:约 3 分钟

大小:477.82K时长:02:43
研究人员利用 80 年代的技巧来攻击 LLM

据美国安全研究人员称,只要对 20 世纪 80 年代的科幻类电影(比如《战争游戏》)中出现的 ASCII 编码艺术稍有了解,就可能骗过大模型,让它们违反自己的安全规则。

 

ASCII 编码艺术指的是由 1963 年 ASCII 标准定义的 95 个可打印字符(总共 128 个)拼凑而成的各种图片。1983 年的电影《战争游戏》或《创》中就用这种艺术绘制了一些图像,显示在剧情中出现的电脑屏幕上。用这种方法发起的越狱攻击使用了字符绘制的图像来“掩护”提示词,这样这些提示就不会被大模型的安全性微调方法标记出来了。

 

来自美国四所大学的研究人员开发了名为“ArtPrompt”的越狱手段,主要针对那些特定提示中可能被大模型的安全系统拒绝的单词。它使用 ASCII 编码艺术把安全系统识别出来的单词绘制成图形,这样就做成了隐形的提示词。这些隐藏提示可以诱导被攻击的大模型做出一些不安全的行为。

 

研究人员在五个业内领先的大模型(GPT-3.5、GPT-4、Gemini、Claude 和 Llama2)中测试了这种越狱手段,结果表明它们都很难识别伪装成 ASCII 图形的提示。

 

这种越狱方法只需要对大模型进行黑盒访问即可,并且可以让接受测试的五个大模型都“有效且高效地被诱导出不良行为”。研究人员表示这是一个漏洞,因为现在大模型内的安全防御机制是基于语义的。

 

与此同时,来自 Meta、伦敦大学学院和牛津大学的一组研究人员介绍了一种通过“彩虹团队”加强大模型内部安全保护能力的方法,该方法侧重于语义端本身的稳健性。

 

他们的论文将对抗性提示生成方法视为一种质量多样性问题。相应地,它使用开放式搜索来生成提示,可以发现模型在安全、问答和网络安全等众多领域的漏洞。

 

https://youtu.be/IrkCIBoqZgE

 

该方法采用称为“质量多样性”的进化搜索框架,以生成可以通过大模型安全保障措施的对抗性提示。

 

根据该论文,实现彩虹团队方法需要三个基本构建块:1)一组指定多样性维度的特征描述符(例如“风险类别”或“攻击风格”); 2) 一个变异算子,用于演化对抗性提示;3) 一个偏好模型,根据对抗性提示的有效性对其进行排名。

 

研究人员表示,彩虹团队框架目前仅在 Llama-2 Chat 模型上做了测试,在各个规模的模型上的攻击成功率为 90%。

 

这两篇研究论文都重点关注生成式人工智能模型的安全保障措施的稳健性,以及大模型越狱可用的形式。随着模型规模和范围的扩大,针对对抗性提示的预防措施显然也需要加强。

 

原文链接:https://www.thestack.technology/the-80s-come-for-llms-with-ascii-art/

2024-04-22 18:433569

评论

发布
暂无评论
发现更多内容

SimbaSchema在数据云平台中的可观测性实践与应用

奇点云

可观测性

如何进行需求管理

易成研发中心

需求管理

Rocky Linux 9.5 正式版发布 - RHEL 100% 1:1 兼容免费发行版

sysin

Rocky Linux RHEL

5款主流AI模型,千万Token免费用,体验极速智能!

轶天下事

全球IP地址库性能评测:数据覆盖与精确性研究

幂简集成

IP API

GroovyShell 应用实践

FunTester

15.模版模式设计思想

杨充

国产化身份目录 芯盾时代数字身份产品矩阵

芯盾时代

数字身份 信息技术 iam 国产化替代

DistilQwen2 蒸馏小模型在 PAI-QuickStart 的训练、评测、压缩及部署实践

阿里云大数据AI技术

最佳实践 PAI DistilQwen2 大模型蒸馏

基于主动元数据 构建智能数据治理体系

京东零售技术

大数据 数据

怎么制作职业生涯规划ppt?用这2个AI工具自动生成ppt!

职场工具箱

人工智能 职场 PPT AIGC AI生成PPT

IoTDB 航空航天解决方案:从制造到试飞,助力国之重器翱翔长空

Apache IoTDB

EXCEL导入—设计与思考

京东科技开发者

如何进行需求全周期管理

易成研发中心

需求管理

火山引擎携手长虹电器,“插件+大模型”赋能AI TV电视数智升级

新消费日报

AI像人一样操控电脑:多模态AI Agents和屏幕交互新范式

Baihai IDP

程序员 AI LLMs Baihai IDP AI Agents

Java代码之美,从遵循样式规范开始

京东零售技术

Java 架构 后端 代码

家政平台(源码+文档+部署+讲解)

深圳亥时科技

大模型在软件测试中的应用论讨

京东科技开发者

《一文讲透》第 1 期:KWDB 单点安装部署

KWDB数据库

数据库 Influxdb 开源数据库 国产数据库 容器化部署

RAG系统高效检索优化指南:精准搭配BGE智源、GTE阿里与Jina等嵌入与精排模型

代码忍者

《Django 5 By Example》阅读笔记:p651-p678

codists

Python django

【GreatSQL优化器-03】查询开销估算

GreatSQL

数据库 greatsql

产品经理如何高效的进行需求管理

易成研发中心

需求管理 需求管理工具

如何安全有效的删代码?

京东科技开发者

Oracle Linux 9.5 正式版发布 - Oracle 提供支持 RHEL 兼容发行版

sysin

Linux RHEL orcle

研究人员利用 80 年代的技巧来攻击 LLM_生成式 AI_AZANIA IMTIAZ PATEL_InfoQ精选文章