写点什么

ChatGPT 又遇“克星”!OpenAI 发布全新 AI 内容识别工具,成功率 26%

  • 2023-02-20
    北京
  • 本文字数:1017 字

    阅读完需:约 3 分钟

ChatGPT又遇“克星”!OpenAI发布全新AI内容识别工具,成功率26%

过去几个月,由人工智能实验室OpenAI发布的对话式大型语言模型ChatGPT在全球范围内掀起狂热之风。为了帮助用户判断哪些内容是由 ChatGPT 生产的,包括 OpenAI、斯坦福大学等多家机构开始研究相应的AI内容识别工具

 

近日,OpenAI 推出一个经过训练的分类器,用以区分文本是否是由 AI 编写的。据其介绍,该分类器虽然不可能可靠地检测所有 AI 编写的文本,但能够通过提供信息来减少 AI 生成式文本是由人工编写的误判:例如,执行自动虚假内容营销,利用 AI 工具进行学术欺诈,以及将 AI 聊天机器人定位为人类。

 

据悉,该分类器是一种语言模型,该模型对基于同一主题的人工编写文本和 AI 编写文本的数据集进行不断调整。OpenAI 从人工编写的各种来源收集数据集,例如预训练数据以及提交到 InstructionGPT 的各种人工的演示,将每个文本分为提示和响应。根据提示,可以从分类器以及其他组织训练的各种不同语言模型中生成响应。OpenAI 调整了 Web App 的置信度阈值,可以保持较低的误报率。换句话说,只有分类器非常有把握的时候,才会将文本标记为可能是 AI 编写的。

 

目前,该分类器的准确性还很低。据悉,OpenAI 对英语文本“Challenge Set”进行了评估,分类器正确地将 26% AI 编写的文本(真阳性)识别为“可能是 AI 编写的”,而错误地将 9% 人工编写的文本标记为 AI 编写的(假阳性)。

 

OpenAI 表示,目前该分类器仍存在局限性,所以不应该将它作为主要决策工具,而应该作为确定文本来源的其他方法的补充。具体来说:

  1. 分类器在短文本(1,000 个字符以下)上非常不可靠。甚至更长的文本有时也会被错误标记。

  2. 有时,人工编写的文本会被错误但自信地标记为 AI 编写。

  3. 建议仅对英语文本使用分类器。它在其他语言中的表现明显较差,代码不是很有效。

  4. 无法可靠地识别已经十分确定的文本。例如,无法预测前 1,000 个素数的列表是 AI 还是人写的,因为谁来写都是一样的。

  5. 编辑 AI 编写的文本可以避开分类器。虽然所有类似的分类器可以通过成功的检测来更新算法并重新训练,但目前还不清楚这种检测是否可以具有长期优势。

  6. 众所周知,基于神经网络的分类器除了训练数据外的其它的校准效果很差。如果输入的文本与训练集中的非常不一样,分类器多半会得到错误的预测。

 

OpenAI 认为,分类器的可靠性,通常会随着输入文本长度的增加而提高。与 OpenAI 此前发布的分类器相比,新的分类器对来自最新 AI 系统编写的文本会更加有效。


参考链接:

https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/


2023-02-20 15:574786

评论

发布
暂无评论
发现更多内容

小海豚“变身”全新智能调度引擎,深入浅出在DDS的实践开发应用

Apache DolphinScheduler

大数据 工作流调度 调度任务 分布式调度引擎 大数据调度

硕果累累,再获认可!「报告、标准、评测」洞见科技走在前沿

洞见科技

隐私计算

wallys/PD-60 802.3AT Input Output 802.3AT/AT 85% Efficiency 10/100/1000M GE Surge Protection

wallys-wifi6

MT7915/MT7975/IPQ6000

快速支持客户知识库的核心优势是什么?

Geek_da0866

3步就能制作漫画头像的机器人,想拥有一个吗?

华为云开发者联盟

人工智能 动漫

为什么知识库很重要?这是我听过最好的答案

Geek_da0866

NFTScan 与 Atem Network 在 NFT 数据领域达成战略合作

NFT Research

NFT NFTScan

二进制SCA指纹提取黑科技:Go语言逆向技术

华为云开发者联盟

云计算 安全 后端

构建知识库时,如何避免最常见的几个错误?

Geek_da0866

区块链开发:如何从 Solidity 智能合约中发送和取款

devpoint

区块链 Solidity 7月月更

时代潮头,华为将风帆对准数字金融的风与海

脑极体

华为云AI院长峰会在黔举行 推动人工智能产学研创新发展

Geek_2d6073

实力认证!星汉未来正式加入中国通信企业协会

星汉未来

云原生 k8s 星汉未来 中国通信企业协会

创建企业wiki,你需要知道这些

Geek_da0866

Flink数据源拆解分析(WikipediaEditsSource)

程序员欣宸

Java flink 7月月更

搭建实用的产品帮助文档,提升用户满意度

Baklib

建立的知识库的7个步骤

Geek_da0866

离开大厂,一周965+远程工作报告

无人之路

大厂 内卷 955 远程 WLB

冲刺金九银十!熬夜爆肝半个月汇集大厂Java岗1600道面试真题

了不起的程序猿

Java java程序员 java面试 java编程

乘势而上,OceanBase推动数字支付精益增长

OceanBase 数据库

如何为您的企业设置内部Wiki?

Geek_da0866

Dao智能合约Dapp系统开发技术

薇電13242772558

智能合约 dapp DAO

聊聊并发编程的12种业务场景

C++后台开发

并发编程 网络编程 后端开发 C++后台开发 C++开发

如何高效的学习掌握新技术

程序员海军

高效率 7月月更

软件调优方法有哪些?看看飞腾技术专家怎么说 | 龙蜥技术

OpenAnolis小助手

cpu io 服务器 龙蜥大讲堂 飞腾

你的 NFT 会消失吗?DFINITY 提供 NFT 存储最佳方案

TinTinLand

区块链 科技

中移链(基于EOS)测试环境搭建

BSN研习社

如何编写您的常见问题页面?

Geek_da0866

Gpushare.com | 如何使用TensorBoardX可视化工具?

恒源云

深度学习 PyTorch tensorboard GPU算力

有数大数据基础平台之智能运维平台EasyEagle介绍:集群队列篇

网易数帆

大数据 数据智能 数据基础设施

禅道项目管理软件的甘特图功能介绍

禅道项目管理

项目管理 甘特图 项目管理软件 禅道

ChatGPT又遇“克星”!OpenAI发布全新AI内容识别工具,成功率26%_文化 & 方法_凌敏_InfoQ精选文章