写点什么

科学家被 ChatGPT 骗了

  • 2023-01-30
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

科学家被ChatGPT骗了

根据最新研究,学者们可能会被 ChatGPT 所欺骗,他们误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。


本文最初发布于 The Register。

学者难以识别人工智能生成的假论文摘要


近日,美国西北大学领导的一个研究小组使用 OpenAI 开发的文本生成工具,基于一篇真实科学论文的标题,采用五种不同的医学期刊风格生成了 50 篇摘要。


4 名学者参加了一项测试,他们被分为两组,每组两人。测试通过电子抛硬币的方式来决定将人工智能生成的摘要交给每组中的哪一名审核员。如果一名研究人员拿到的是真摘要,那么另一名研究人员拿到的就是假摘要,反之亦然。每个人都审阅了 25 篇科学摘要。


审核员能够识别出 68% 由人工智能生成的假摘要,和 86% 来自真实论文的原始摘要。换句话说,他们被成功欺骗,将 32% 的人工智能生成的摘要识别为真摘要,将 14% 的真摘要识别为假摘要。


该研究的第一作者、西北大学专攻肺病学的医生和科学家 Catherine Gao 说,这表明 ChatGPT 相当有说服力。她在一份声明中写道,“我们的审核员知道他们收到的部分摘要是假的,所以他们非常警惕”。


“事实上,我们的审核员还是在 32% 的时间里漏掉了人工智能生成的摘要,这表明这些摘要真的很好。我估计,如果有人偶然看到了其中一份生成的摘要,那么他们不一定能识别出那是由人工智能写的。”

大型语言模型生成的文本为什么能骗倒众人?


像 ChatGPT 这样的大型语言模型使用从互联网上抓取的大量文本进行训练。经过学习后,它们会通过预测在给定的句子中哪些词更有可能出现来生成文本,而且生成的文本语法准确。这并不奇怪,即使是学者也会上当受骗,相信人工智能生成的摘要是真的。


大型语言模型擅长生成具有清晰结构和模式的文本,科学摘要通常采用类似的格式,而且可能相当模糊。


Gao 说:“我们的审核员评论说,区分真假摘要非常困难。ChatGPT 生成的摘要非常有说服力……当编造数值时,它甚至知道患者群体应该有多大。”例如,一篇关于高血压的假摘要描述了一项有数万名参与者的研究,而一篇关于猴痘的研究涉及的患者则较少。


Gao 认为,像 ChatGPT 这样的工具将使靠出版研究成果获利的造纸厂更容易炮制虚假科学论文。她补充说,“如果其他人试图以这些不正确的研究为基础进行科学研究,那可能真的很危险”。


不过,使用这些工具也有好处。这项研究的合作者、芝加哥大学医学副教授 Alexander Pearson 说,它们可以帮助母语非英语的科学家更好地写作和分享他们的工作。


人工智能比人类更擅长检测机器文本。例如,免费的 GPT-2 输出检测器能够以超过 50% 的置信区间从 50 篇由语言模型生成的论文中猜出 33 篇。研究人员认为,提交的论文应该通过这些探测器的检测,科学家应该公开使用这些工具。


Gao 告诉 The Register,“我们在撰写自己的摘要或手稿时没有使用 ChatGPT,因为这是否可接受在学术界还没有清晰的边界。例如,国际机器学习大会已经制定了一项政策,禁止使用它,不过他们承认,讨论仍在继续,并澄清说,在‘编辑或打磨’时使用是可以的。”


不过,已经有一些团体开始使用它来辅助写作,有些人还把它列为合著者。我认为,使用 ChatGPT 来辅助写作是可以的,重要的是,这样做的时候要明确标示 ChatGPT 辅助编写的那部分手稿。我们将来使用或不使用 LLM 来辅助撰写论文,取决于科学界最终达成的共识。”


原文链接:


https://www.theregister.com/2023/01/11/scientists_chatgpt_papers/

2023-01-30 12:005803

评论 1 条评论

发布
用户头像
AI自动帮小学生写作业
2023-01-31 08:11 · 浙江
回复
没有更多了
发现更多内容

VMware Fusion Pro 13 for Mac VM虚拟机 v13.5.1中文激活版

iMac小白

LangChain与Chroma的大模型语义搜索应用

百度开发者中心

人工智能 深度学习 大数据 大模型

MO干货 | shuffle执行计划解析(上篇)

MatrixOrigin

数据库 云原生 分布式,

2024年2月NFT市场激增:NFT趋势、热门项目和市场分析

区块链软件开发推广运营

dapp开发 区块链开发 链游开发 NFT开发 公链开发

Topaz Video AI for mac v4.2.0激活版 强大的视频增强软件

iMac小白

淘宝详情数据API接口,API接口汇总

Anzexi58

API 文档

容器中的⼤模型(一)| 三行命令,大模型让Excel直接回答问题

智领云科技

容器 大模型

JSON 和 Form-data: 深入理解 Web 开发中的数据提交方式

Liam

json 程序员 前端 数据交互 Form-data

新零售SaaS架构:订单履约系统的概念模型设计

不在线第一只蜗牛

架构 零售 SaaS 平台开发

NUKE 14 for mac v14.0v5激活版 电影后期特效合成软件

iMac小白

一次性搞定多任务!Python自动化复用浏览器技巧大揭秘

测吧(北京)科技有限公司

测试

模型驱动测试:引领软件质量的新潮流

测试人

软件测试 自动化测试 测试开发

如何做代币分析:以 CRO 币为例

Footprint Analytics

Token

【教程】APP开发后如何上架?

雪奈椰子

ConfigMap挂载与Subpath在Nginx容器中的应用

华为云开发者联盟

容器 开发 华为云 华为云开发者联盟

模型驱动测试:引领软件质量的新潮流

霍格沃兹测试开发学社

华为云云原生专家入选全球顶级开源组织CNCF技术监督委员会

华为云开发者联盟

华为云 云原生开源 华为云开发者联盟 华为云云原生

[自研开源] MyData 基于 Web API 的数据集成平台 v0.7.0

LIEN

开源 数据集成 业务融合 API对接 数据对接

MetaRename for Mac(文件重命名工具)v1.0.10激活版

iMac小白

转型敏捷中,有哪些无形的障碍?

敏捷开发

项目管理 Scrum 敏捷开发 敏捷转型

一文讲明白Java中线程与进程、并发与与并行、同步与异步

EquatorCoco

Java 线程 进程

EndNote 21 for Mac(文献管理软件) v21.2激活版

iMac小白

剧透!3月9日deepin Meetup · 成都站,精彩议题&活动环节早知道

nn-30

Desktop Stickers for Mac(桌面贴纸)v2.6激活版

iMac小白

Animate 2024 for mac(An2024)v24.0.1中文激活版

iMac小白

流行 NFT 的必备指南

Footprint Analytics

NFT

开篇语 | 容器中的⼤模型 (LLM in Containers)

智领云科技

容器 大模型

SecureCRT for mac v9.5.1注册激活版 强大的终端仿真软件

iMac小白

Commander One PRO for mac 3.7.0中文激活版 文件管理器

iMac小白

金三银四,聊一聊软件测试简历书写/面试的必备技能

测吧(北京)科技有限公司

测试

CheckBook Pro for mac(优秀的个人理财管理软件) v2.7.28注册版

iMac小白

科学家被ChatGPT骗了_AI&大模型_Katyanna Quach_InfoQ精选文章