2025 年技术指引:让真实案例和经验为开发者开路 了解详情
写点什么

用 AI 对抗 AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

  • 2023-01-31
    北京
  • 本文字数:838 字

    阅读完需:约 3 分钟

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本

过去两个月,ChatGPT火爆全网,写代码、编故事、构建虚拟机……ChatGPT 几乎无所不能。在“硬币的另一面”,有学生开始用 ChatGPT写作业、写论文。根据最新研究,学者们也可能会被 ChatGPT 欺骗,误以为 ChatGPT 生成的虚假科学摘要来自顶级研究期刊上发表的真实医学论文。

 

近日,斯坦福大学研究团队提出了一种名为 DetectGPT 的新方法,旨在成为首批打击高等教育中 LLM 生成文本的工具之一。相关研究论文已发表在预印本网站 arXiv 上。据悉,这是一种使用模型的对数概率函数的局部曲率检测预训练大型语言模型样本的方法,该方法或对检测验证产业带来积极影响。

 

该方法基于的原理是:由大型语言模型生成的文本通常在模型的对数概率函数的负曲率区域的特定区域徘徊。通过这个发现,该团队开发了一种新的指标,用于判断文本是否是机器生成的,并且不需要训练人工智能或收集大型数据集来比较文本。

 

研究人员表示,随着大型语言模型(LLMs)的流畅性和知识积累程度不断增强,人们对于检测一段文本是否由机器编写的需求日益旺盛。比如,一些学生使用大型语言模型来完成书面作业,以至于教师无法准确地评估学生的学习情况。

 

研究人员首先证明了从大型语言模型中采样的文本倾向于占据模型的对数概率函数的负曲率区域。利用这一观察结果,定义了一个新的基于曲率的标准,用于判断是否从给定的 LLM 生成通道。这种方法即为 DetectGPT——不需要训练单独的分类器,不需要收集真实或生成的段落的数据集,也不需要显式地为生成的文本加水印,它只使用由感兴趣的模型计算的对数概率,和来自另一个通用预训练语言模型(例如 T5)的文章随机扰动。

 

研究发现 DetectGPT 比现有的零帧模型样本检测方法更具鉴别性,显著提高了 20B 参数 GPT-NeoX 生成的假新闻文章的检测能力,从最强零帧基线的 0.81 AUROC 提高到 DetectGPT 的 0.95 AUROC。

 

然而,这一方法也存在一定的局限性。例如,如果现有的掩模填充模型不能很好地表示有意义的改写空间,则某些域的性能可能会降低,从而降低曲率估计的质量;DetectGPT 相比其他检测方法需要更大的计算量等。

2023-01-31 18:035777

评论 1 条评论

发布
用户头像
你来我往
2023-02-01 08:09 · 浙江
回复
没有更多了
发现更多内容

前端实操案例丨如何实现JS向Vue传值

华为云开发者联盟

Vue 大前端 js Promise Vuex state

2、kafka 2.8.0 源码环境搭建

杨四正

大数据 kafka 消息队列 kafka2.8

Serverless:这真的是未来吗?(二)

Serverless Devs

Serverless 运维 云原生 后端 无服务器

看MindSpore加持下,如何「炼出」首个千亿参数中文预训练语言模型?

华为云开发者联盟

框架 mindspore 盘古 NLP 大模型 中文预训练模型

从酷睿双核到Tiger Lake-H,英特尔如何帮游戏笔记本完成蜕变

E科讯

DEMO WORLD分论坛聊些啥?高端制造、未来出行、皮肤科技、未来产业……

创业邦

创新

千万级学生管理系统考试试卷存储方案设计

Hesher

架构 Architecture 架构实战营 存储系统

架构实战营模块3课后作业-基于“自研集群+MySQL存储”的消息队列架构设计方案

吴建中

架构实战营

Flume的负载均衡load balancer

大数据技术指南

flume 5月日更

BitMap 转置算法:不一样的 Count 求解方式

GrowingIO技术专栏

BitMap

多线程 VS 多进程(一)

若尘

多线程 多进程 Python编程 5月日更

java性能分析与问题定位 实战

try catch

Java 性能分析

膜拜!Github访问量破百万,阿里内部首次公布的Java10W字面经有多强?

Java 程序员 架构 面试

聊聊那些小而美的开源搜索引擎

代码先生

搜索引擎 elasticsearch meilisearch

520 单身福利|获奖名单公布~

InfoQ写作社区官方

520单身福利 热门活动

HIVE跑个insert into select xxx 为什么CPU飙高

InfoQ_Springup

hadoop

让人工智能成为保险行业科技基因的一部分!

百度大脑

人工智能 保险

详解JQuery框架的五大选择器

华为云开发者联盟

jquery 选择器 层级选择器 属性选择器 过滤选择器

支付中心设计

try catch

支付 支付中心

阿里分布式大神亲码“redis核心技术笔记”,没有废话,全是干货!

Java架构追梦

Java redis 阿里巴巴 架构 架构分布式

JavaScript+TensorFlow.js让你在视频中瞬间消失

不脱发的程序猿

JavaScript 人工智能 开源 TensorFlow.js

测试开发网络篇-网络协议简介

禅道项目管理

软件测试 自动化测试 测试开发

SparkStreaming知识点总结

五分钟学大数据

大数据 5月日更

普通代码块 静态代码块 构造代码块......傻傻分不清

麦洛

Java

基础设施设施即代码(IaC)平台 Pulumi | 混合云管理利器

郭旭东

基础设施即代码 IaC

飞桨前沿升级、顶级开源项目、产教融合育人,WAVE SUMMIT论坛内容先睹为快!

百度大脑

深度学习 飞桨

看完了京东年薪150万的大佬扔给我的“阿里内部Java 成长笔记”,差距不止一点点

Java 程序员 架构 面试 计算机

基于 Qt Quick Plugin 快速构建桌面端跨平台组件

网易云信

音视频 qt

深入浅出分布式存储性能优化方案

焱融科技

云计算 分布式 高性能 云存储 超融合

iOS开发底层原理技术~RAC深度解析

ios cocoa 程序员 移动开发

测试开发专题-开篇

禅道项目管理

软件测试 自动化测试 测试开发

用AI对抗AI!斯坦福研究人员推出 DetectGPT,专门检测 ChatGPT 等模型生成的文本_AI&大模型_凌敏_InfoQ精选文章