写点什么

ChatGPT 又遇“克星”!OpenAI 发布全新 AI 内容识别工具,成功率 26%

  • 2023-02-20
    北京
  • 本文字数:1017 字

    阅读完需:约 3 分钟

ChatGPT又遇“克星”!OpenAI发布全新AI内容识别工具,成功率26%

过去几个月,由人工智能实验室OpenAI发布的对话式大型语言模型ChatGPT在全球范围内掀起狂热之风。为了帮助用户判断哪些内容是由 ChatGPT 生产的,包括 OpenAI、斯坦福大学等多家机构开始研究相应的AI内容识别工具

 

近日,OpenAI 推出一个经过训练的分类器,用以区分文本是否是由 AI 编写的。据其介绍,该分类器虽然不可能可靠地检测所有 AI 编写的文本,但能够通过提供信息来减少 AI 生成式文本是由人工编写的误判:例如,执行自动虚假内容营销,利用 AI 工具进行学术欺诈,以及将 AI 聊天机器人定位为人类。

 

据悉,该分类器是一种语言模型,该模型对基于同一主题的人工编写文本和 AI 编写文本的数据集进行不断调整。OpenAI 从人工编写的各种来源收集数据集,例如预训练数据以及提交到 InstructionGPT 的各种人工的演示,将每个文本分为提示和响应。根据提示,可以从分类器以及其他组织训练的各种不同语言模型中生成响应。OpenAI 调整了 Web App 的置信度阈值,可以保持较低的误报率。换句话说,只有分类器非常有把握的时候,才会将文本标记为可能是 AI 编写的。

 

目前,该分类器的准确性还很低。据悉,OpenAI 对英语文本“Challenge Set”进行了评估,分类器正确地将 26% AI 编写的文本(真阳性)识别为“可能是 AI 编写的”,而错误地将 9% 人工编写的文本标记为 AI 编写的(假阳性)。

 

OpenAI 表示,目前该分类器仍存在局限性,所以不应该将它作为主要决策工具,而应该作为确定文本来源的其他方法的补充。具体来说:

  1. 分类器在短文本(1,000 个字符以下)上非常不可靠。甚至更长的文本有时也会被错误标记。

  2. 有时,人工编写的文本会被错误但自信地标记为 AI 编写。

  3. 建议仅对英语文本使用分类器。它在其他语言中的表现明显较差,代码不是很有效。

  4. 无法可靠地识别已经十分确定的文本。例如,无法预测前 1,000 个素数的列表是 AI 还是人写的,因为谁来写都是一样的。

  5. 编辑 AI 编写的文本可以避开分类器。虽然所有类似的分类器可以通过成功的检测来更新算法并重新训练,但目前还不清楚这种检测是否可以具有长期优势。

  6. 众所周知,基于神经网络的分类器除了训练数据外的其它的校准效果很差。如果输入的文本与训练集中的非常不一样,分类器多半会得到错误的预测。

 

OpenAI 认为,分类器的可靠性,通常会随着输入文本长度的增加而提高。与 OpenAI 此前发布的分类器相比,新的分类器对来自最新 AI 系统编写的文本会更加有效。


参考链接:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/


2023-02-20 15:574879

评论

发布
暂无评论
发现更多内容

Github上都在疯找的阿里内部“全栈技能修炼”终于来了,kafka基础概念

Java 程序员 后端

.NET6新东西--ConfigurationManager

喵叔

11月日更

HDU-3038-How Many Answers Are Wrong【 带权并查集 】题解

Java 程序员 后端

外包学生管理系统详细架构设计

天天向上

架构实战营

git(3)Git 分支,mysql语句优化面试题

Java 程序员 后端

感觉要起飞!终于找到开发效率低的原因....

Jackpop

如何做架构设计

天天向上

架构实战营

IDEA的Docker插件实战(Docker Image篇),rabbitmqpdf百度云

Java 程序员 后端

数据分析入门

加里都好

大数据

Github上堪称最全的面试题库(Java岗)到底有多香,java基础进阶视频

Java 程序员 后端

Java基础 | Proxy动态代理机制详解

jdk 动态代理 java基础 Proxy

Java基础 | 泛型机制与反射原理

Java jdk 反射 泛型

Hello Git快速入门,三年经验Java开发面经总结

Java 程序员 后端

IDEA类和方法注释模板设置(超详细教程),java程序执行过程与编译原理

Java 程序员 后端

Github限时开放!阿里内部强推的《微服务容器化参考指南

Java 程序员 后端

Gradle项目的jar发布到私有仓库,java并发编程实战王宝令

Java 程序员 后端

Java容器 | 基于源码分析Map集合体系

Java hashmap map

HarmonyOS(鸿蒙),java免费视频百度网盘

Java 程序员 后端

Redis Pipeline

new life

Java容器 | 基于源码分析List集合体系

Java List 集合 ArrayList

GitHub标星17万:打破程序员“中年危机,单点登录(Single-Sign-On)解决方案

Java 程序员 后端

GitLab CI构建SpringBoot-2,rabbitmq原理及作用

Java 程序员 后端

Go语言安装和配置SDK,阿里牛逼

Java 程序员 后端

《Kubernetes in action 读书笔记》:Kurbernetes横空出世

后台技术汇

kubenetes 11月日更

Python+JavaScript = 真牛!

Jackpop

HTML笔记 —— 标签和超链接,java面试数据库隔离级别实战

Java 程序员 后端

Git 常用命令,使用Docker部署Spring-Boot项目

Java 程序员 后端

GitHub上标星75k+的《Java面试突击版,京东java面试题答案

Java 程序员 后端

HashMap + 软引用进行缓存,java程序设计案例教程第二版答案

Java 程序员 后端

学生管理系统-详细架构设计文档

joukosusi

架构

Geospatial-地理空间,java面试基本知识

Java 程序员 后端

ChatGPT又遇“克星”!OpenAI发布全新AI内容识别工具,成功率26%_文化 & 方法_凌敏_InfoQ精选文章