QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

科学家被 ChatGPT 骗了

  • 2023-01-30
    北京
  • 本文字数:1381 字

    阅读完需:约 5 分钟

科学家被ChatGPT骗了

根据最新研究,学者们可能会被 ChatGPT 所欺骗,他们误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。


本文最初发布于 The Register。

学者难以识别人工智能生成的假论文摘要


近日,美国西北大学领导的一个研究小组使用 OpenAI 开发的文本生成工具,基于一篇真实科学论文的标题,采用五种不同的医学期刊风格生成了 50 篇摘要。


4 名学者参加了一项测试,他们被分为两组,每组两人。测试通过电子抛硬币的方式来决定将人工智能生成的摘要交给每组中的哪一名审核员。如果一名研究人员拿到的是真摘要,那么另一名研究人员拿到的就是假摘要,反之亦然。每个人都审阅了 25 篇科学摘要。


审核员能够识别出 68% 由人工智能生成的假摘要,和 86% 来自真实论文的原始摘要。换句话说,他们被成功欺骗,将 32% 的人工智能生成的摘要识别为真摘要,将 14% 的真摘要识别为假摘要。


该研究的第一作者、西北大学专攻肺病学的医生和科学家 Catherine Gao 说,这表明 ChatGPT 相当有说服力。她在一份声明中写道,“我们的审核员知道他们收到的部分摘要是假的,所以他们非常警惕”。


“事实上,我们的审核员还是在 32% 的时间里漏掉了人工智能生成的摘要,这表明这些摘要真的很好。我估计,如果有人偶然看到了其中一份生成的摘要,那么他们不一定能识别出那是由人工智能写的。”

大型语言模型生成的文本为什么能骗倒众人?


像 ChatGPT 这样的大型语言模型使用从互联网上抓取的大量文本进行训练。经过学习后,它们会通过预测在给定的句子中哪些词更有可能出现来生成文本,而且生成的文本语法准确。这并不奇怪,即使是学者也会上当受骗,相信人工智能生成的摘要是真的。


大型语言模型擅长生成具有清晰结构和模式的文本,科学摘要通常采用类似的格式,而且可能相当模糊。


Gao 说:“我们的审核员评论说,区分真假摘要非常困难。ChatGPT 生成的摘要非常有说服力……当编造数值时,它甚至知道患者群体应该有多大。”例如,一篇关于高血压的假摘要描述了一项有数万名参与者的研究,而一篇关于猴痘的研究涉及的患者则较少。


Gao 认为,像 ChatGPT 这样的工具将使靠出版研究成果获利的造纸厂更容易炮制虚假科学论文。她补充说,“如果其他人试图以这些不正确的研究为基础进行科学研究,那可能真的很危险”。


不过,使用这些工具也有好处。这项研究的合作者、芝加哥大学医学副教授 Alexander Pearson 说,它们可以帮助母语非英语的科学家更好地写作和分享他们的工作。


人工智能比人类更擅长检测机器文本。例如,免费的 GPT-2 输出检测器能够以超过 50% 的置信区间从 50 篇由语言模型生成的论文中猜出 33 篇。研究人员认为,提交的论文应该通过这些探测器的检测,科学家应该公开使用这些工具。


Gao 告诉 The Register,“我们在撰写自己的摘要或手稿时没有使用 ChatGPT,因为这是否可接受在学术界还没有清晰的边界。例如,国际机器学习大会已经制定了一项政策,禁止使用它,不过他们承认,讨论仍在继续,并澄清说,在‘编辑或打磨’时使用是可以的。”


不过,已经有一些团体开始使用它来辅助写作,有些人还把它列为合著者。我认为,使用 ChatGPT 来辅助写作是可以的,重要的是,这样做的时候要明确标示 ChatGPT 辅助编写的那部分手稿。我们将来使用或不使用 LLM 来辅助撰写论文,取决于科学界最终达成的共识。”


原文链接:


https://www.theregister.com/2023/01/11/scientists_chatgpt_papers/

2023-01-30 12:005885

评论 1 条评论

发布
用户头像
AI自动帮小学生写作业
2023-01-31 08:11 · 浙江
回复
没有更多了
发现更多内容

极光开发者周刊【No.0430】

极光JIGUANG

云原生除了K8S、微服务,还有...?

云计算

群英荟萃 | UINO优锘科技ThingJS平台亮相华为开发者大会

ThingJS数字孪生引擎

物联网 3D可视化 数字孪生

博睿数据DataView标准化指标管理,助力企业快速制定SLO

博睿数据

数据中台 博睿数据 dataview

流水线成功涨薪到年薪30W 只有努力才能成功

学Java关注我

Java 架构 程序人生 编程语言

5月日更,InfoQ 高定T-恤,达标来领~

InfoQ写作社区官方

5月日更 热门活动

新人小白福利来啦!精简版java知识总结,阿里P8大牛看完都说绝了

牛哄哄的java大师

Java

带你温习一下webpack配置

IT皮皮蟹

npm nodejs webpack

参加人气创作者的一些感悟

石云升

28天写作 4月日更 1 周年盛典

弱密码会毁灭物联网(IoT)吗?

龙归科技

密码管理

软件 IT专业的高校大学生是否写文调查问卷

Bob

问卷调查 行业分析能力考核 高校大学生 写文

引入:从云计算到Serverless

刘宇

让电影票房飞一会儿,五一换个姿势重温经典

华为云开发者联盟

音视频 电影修复 视频超分 媒体处理 混合失真

什么,你管这叫“线程安全”?

Java大蜗牛

Java 程序员 编程语言 后端 线程安全

音频变速变调原理及soundtouch代码分析

floer rivor

音视频

【得物技术】网络优化——域名解析原理&实践

得物技术

网络 域名解析 域名 得物技术 实践

Boss直聘转发超100W次Java面试突击手册 火遍全网

比伯

Java 编程 程序员 架构 计算机

我与写作平台的初次接触

Aldeo

1 周年盛典 我和写作平台的故事

SpringCloud-技术专题-Feign组件基本使用(1)

码界西柚

Configuration Hystrix spring-cloud Fegin Ribbon

2.8W字Java基础学习和书籍推荐,真正意义上的从0到1学Java,才不是培训机构那种大纲文

北游学Java

面向对象 线程 集合 java基础 IO流

科技赋能 博睿数据引领教育行业走入“服务可达”时代

博睿数据

在线教育 博睿数据 服务可达

聪明人的训练(三十)

Changing Lin

4月日更

已跪!Java全能笔记爆火,Java教程/Java包/Eclipse安装指南全有

牛哄哄的java大师

Java

CloudQuery v1.3.7版本更新,新增「导出限制」

BinTools图尔兹

数据库 sql 数据安全 数据库管理

阿里码农肝了2晚,整理的Java语法总结,网友:考试复习全靠它了

飞飞JAva

又一个免费良心的下载站,答应我:别再下到流氓软件了。

彭宏豪95

ios 效率 工具 下载 4月日更

yarn的applicationMaster介绍

五分钟学大数据

YARN

Serverless的定义

刘宇

​太厉害了,终于有人把Spring条件注解讲明白了,送你上岸!

飞飞JAva

spring

飞桨中国行落地合肥,与当地企业共话产业智能化升级

百度大脑

智能化 飞桨中国行

云图说|ModelArts Pro,为企业级AI应用打造的专业开发套件

华为云开发者联盟

AI 企业应用 ModelArts Pro 开发套件

科学家被ChatGPT骗了_AI&大模型_Katyanna Quach_InfoQ精选文章