AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

用 AI 对抗 AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

  • 2023-01-31
    北京
  • 本文字数:838 字

    阅读完需:约 3 分钟

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

过去两个月,ChatGPT火爆全网,写代码、编故事、构建虚拟机……ChatGPT 几乎无所不能。在“硬币的另一面”,有学生开始用 ChatGPT写作业、写论文。根据最新研究,学者们也可能会被 ChatGPT 欺骗,误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。

 

近日,斯坦福大学研究团队提出了一种名为 DetectGPT 的新方法,旨在成为首批打击高等教育中 LLM 生成文本的工具之一。相关研究论文已发表在预印本网站 arXiv 上。据悉,这是一种使用模型的对数概率函数的局部曲率检测预训练大型语言模型样本的方法,该方法或对检测验证产业带来积极影响。

 

该方法基于的原理是:由大型语言模型生成的文本通常在模型的对数概率函数的负曲率区域的特定区域徘徊。通过这个发现,该团队开发了一种新的指标,用于判断文本是否是机器生成的,并且不需要训练人工智能或收集大型数据集来比较文本。

 

研究人员表示,随着大型语言模型(LLMs)的流畅性和知识积累程度不断增强,人们对于检测一段文本是否由机器编写的需求日益旺盛。比如,一些学生使用大型语言模型来完成书面作业,以至于教师无法准确地评估学生的学习情况。

 

研究人员首先证明了从大型语言模型中采样的文本倾向于占据模型的对数概率函数的负曲率区域。利用这一观察结果,定义了一个新的基于曲率的标准,用于判断是否从给定的 LLM 生成通道。这种方法即为 DetectGPT——不需要训练单独的分类器,不需要收集真实或生成的段落的数据集,也不需要显式地为生成的文本加水印,它只使用由感兴趣的模型计算的对数概率,和来自另一个通用预训练语言模型(例如 T5)的文章随机扰动。

 

研究发现 DetectGPT 比现有的零帧模型样本检测方法更具鉴别性,显著提高了 20B 参数 GPT-NeoX 生成的假新闻文章的检测能力,从最强零帧基线的 0.81 AUROC 提高到 DetectGPT 的 0.95 AUROC。

 

然而,这一方法也存在一定的局限性。例如,如果现有的掩模填充模型不能很好地表示有意义的改写空间,则某些域的性能可能会降低,从而降低曲率估计的质量;DetectGPT 相比其他检测方法需要更大的计算量等。

2023-01-31 18:036064

评论 1 条评论

发布
用户头像
你来我往
2023-02-01 08:09 · 浙江
回复
没有更多了
发现更多内容

稳定、高效:TDengine 在阿诗特智慧能源管理云平台中的应用

TDengine

数据库 tdengine 物联网

java培训基础知识-抽象类和接口

@零度

Java 接口 抽象类

NVIDIA 英伟达发布H100 GPU,水冷服务器适配在路上

GPU算力

架构训练营-模块一

哈喽

「架构实战营」

Kubernetes官方java客户端之一:准备

程序员欣宸

Kubernetes java client

NE555 & 工作模式介绍

謓泽

3月月更

业务并发度不够,数仓的CN可以来帮忙

华为云开发者联盟

并发 执行计划 DWS CN 业务并发度

大数据培训-Spark深入理解RDD和关键角色

@零度

spark 大数据开发

数据产品经理实战-如何做方案

第519区

数据产品经理 解决方案

模块一:微信业务架构图&学生管理系统架构设计

jiaoxn

「架构实战营」

Android 中Scheme协议的使用详解

CRMEB

企业级项目协作工具 ,原来跨项目协作这么简单

阿里云云效

云计算 阿里云 项目管理 项目协作 项目协作工具

《假如你身处被“科技制裁”的俄罗斯》之数据库专家访谈 | 墨天轮专访

墨天轮

数据库 oracle 开源 国产数据库 MySQL 数据库

社区动态|Apache Doris 社区喜迎新晋 PPMC & Committer

ApacheDoris

大数据 OLAP MPP apache doris apache 社区

Kube-OVN:大型银行技术团队推荐的金融级云原生网络方案

York

容器 云原生 金融科技 两地三中心 云原生网络

打通源码!高效定位代码问题|云效工程师指北

阿里云云效

阿里云 源码 云原生 代码 代码管理

【OH干货】给OpenHarmony 开发板配置网络

拓维信息

开源 OpenHarmony

被Altair圈粉了!这款Python数据可视化库真香!

博文视点Broadview

2022年中国智能支付终端市场专题分析

易观分析

数字人民币 智能支付终端

破解数据库内核人才困局:PingCAP 的思考与尝试丨Talent Plan 专访

PingCAP

《Mybatis 手撸专栏》第2章:创建简单的映射器代理工厂

小傅哥

源码分析 小傅哥 mybatis

企业知识管理常见的误区及解决方案

小炮

企业知识管理

源声|听听赛博堡垒的锻造之路,以及云安全那些事儿

OpenTEKr

网络安全 软件开发 开源技术

Volcano:在离线作业混部管理平台,实现智能资源管理和作业调度

华为云开发者联盟

Kubernetes Volcano 混合部署 离线混合部署 EulerOS

博文推荐|Apache Pulsar 轻装上阵:迈向轻 ZooKeeper 时代

Apache Pulsar

zookeeper 开源 云原生 pip Apache Pulsar

互联网裁员风暴的一些思考

慕枫技术笔记

3月月更

Linux下搭建简易的HTTP服务器完成图片显示

DS小龙哥

3月月更

一文简述:如何进行数据库选型及扩展

穿过生命散发芬芳

3月月更

与吴恩达创办Coursera后,她一头扎进数字生物学

OneFlow

人工智能 机器学习 深度学习 吴恩达 生物医药

OpenHarmony v3.1 Release版本发布

OpenHarmony开发者

OpenHarmony

Redis(一)原理与基本使用

神农写代码

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本_AI&大模型_凌敏_InfoQ精选文章