写点什么

用 AI 对抗 AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

  • 2023-01-31
    北京
  • 本文字数:838 字

    阅读完需:约 3 分钟

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

过去两个月,ChatGPT火爆全网,写代码、编故事、构建虚拟机……ChatGPT 几乎无所不能。在“硬币的另一面”,有学生开始用 ChatGPT写作业、写论文。根据最新研究,学者们也可能会被 ChatGPT 欺骗,误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。

 

近日,斯坦福大学研究团队提出了一种名为 DetectGPT 的新方法,旨在成为首批打击高等教育中 LLM 生成文本的工具之一。相关研究论文已发表在预印本网站 arXiv 上。据悉,这是一种使用模型的对数概率函数的局部曲率检测预训练大型语言模型样本的方法,该方法或对检测验证产业带来积极影响。

 

该方法基于的原理是:由大型语言模型生成的文本通常在模型的对数概率函数的负曲率区域的特定区域徘徊。通过这个发现,该团队开发了一种新的指标,用于判断文本是否是机器生成的,并且不需要训练人工智能或收集大型数据集来比较文本。

 

研究人员表示,随着大型语言模型(LLMs)的流畅性和知识积累程度不断增强,人们对于检测一段文本是否由机器编写的需求日益旺盛。比如,一些学生使用大型语言模型来完成书面作业,以至于教师无法准确地评估学生的学习情况。

 

研究人员首先证明了从大型语言模型中采样的文本倾向于占据模型的对数概率函数的负曲率区域。利用这一观察结果,定义了一个新的基于曲率的标准,用于判断是否从给定的 LLM 生成通道。这种方法即为 DetectGPT——不需要训练单独的分类器,不需要收集真实或生成的段落的数据集,也不需要显式地为生成的文本加水印,它只使用由感兴趣的模型计算的对数概率,和来自另一个通用预训练语言模型(例如 T5)的文章随机扰动。

 

研究发现 DetectGPT 比现有的零帧模型样本检测方法更具鉴别性,显著提高了 20B 参数 GPT-NeoX 生成的假新闻文章的检测能力,从最强零帧基线的 0.81 AUROC 提高到 DetectGPT 的 0.95 AUROC。

 

然而,这一方法也存在一定的局限性。例如,如果现有的掩模填充模型不能很好地表示有意义的改写空间,则某些域的性能可能会降低,从而降低曲率估计的质量;DetectGPT 相比其他检测方法需要更大的计算量等。

2023-01-31 18:035635

评论 1 条评论

发布
用户头像
你来我往
2023-02-01 08:09 · 浙江
回复
没有更多了
发现更多内容

华为云网络覆盖全球2500+站点,打造高品质、低成本接入体验

华为云开发者联盟

RTC 华为云 媒体服务 LiveVideoStack

业内首款云原生技术中台产品云原生 Stack 来了!

阿里巴巴云原生

阿里云 云原生 技术中台

Java 包装类和基本类型

HoneyMoose

模块一

模块一作业

Geek_1d37ea

敏捷QA需要编写测试用例吗?

BY林子

测试用例 敏捷测试

Flux架构思想在度咔App中的实践

百度Geek说

百度 架构 后端 短视频 Flux

网络生病了怎么办?看华为云网络测量如何“悬丝诊脉”

华为云开发者联盟

华为云 云网络 网络故障 网络测量 SDN架构

左手 CloudWeGo,右手 Kratos ,如何选?

baiyutang

Go golang 微服务框架 10月月更

Java 有关 Integer 一个好玩的包装类

HoneyMoose

网易云信被纳入 Gartner 2021年《CPaaS 市场指南》研究报告

网易云信

音视频 云通信 Gartner

短短 146 天就成为 Apache APISIX Committer,我是怎么做到的?

API7.ai 技术团队

成长笔记 API网关 社区 Apache APISIX

模块一作业

美好心情

「架构实战营」

Vue进阶(幺伍叁):Vue-highlight 实现代码高亮

No Silver Bullet

Vue highlight.js 10月月更

实时大数据Flink知识结构(超全整理,附知识脑图)

大象灵感

大数据 flink spark 实时数仓 流处理

2021年10月国产数据库流行度排行解读 浅谈基础软件发展之道

墨天轮

数据库 华为 opengauss Gauss DB 国产数据库

阿里二面:为什么要分库分表?

Java MySQL 数据库 架构 面试

模块一作业及总结

Thomas

架构实战营

OKR与影响地图,别再傻傻分不清

华为云开发者联盟

OKR 敏捷 影响地图 规划 目标

只需2步,教你在Vue中设置登录验证拦截

华为云开发者联盟

Vue 浏览器 Token pringboot 登录验证

学习总结(第一周)

Geek_1d37ea

架构实战营

IOS技术分享| ARCall视频通话重构

anyRTC开发者

ios 音视频 语音通话 视频通话 视频呼叫

代码简洁之道:一行Python代码解决问题是时尚还是玄学

博文视点Broadview

游戏数字资产复用——有哪些是你需要知道的?

龙智—DevSecOps解决方案

游戏开发 游戏引擎 perforce

这一篇 K8S(Kubernetes)我觉得可以了解一下!!!

牧小农

Docker 容器 kubenetes

引导行业发展!旺链科技加入“可信区块链推进计划”

旺链科技

区块链 数字经济 产业区块链

架构训练营 - 第一周作业

二手攻城师

「架构实战营」

第一周作业

赵先生

架构实战营

学生管理系统架构

豪毅

架构实战营

数仓无损压缩算法:gzip算法

华为云开发者联盟

算法 deflate 无损 gzip 压缩数据

以开发之名 | 美好出行体验,“管家”一站实现

最新动态

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本_AI&大模型_凌敏_InfoQ精选文章