写点什么

第一个中国版 ChatGPT 来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

  • 2023-02-21
    北京
  • 本文字数:2423 字

    阅读完需:约 8 分钟

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。”


自去年 11 月底正式发布以来,OpenAI 最新的 AI 聊天机器人 ChatGPT 迅速成为现象级应用。瑞银发布的研究报告显示,ChatGPT 在今年 1 月,月活跃用户估计已达 1 亿,成为历史上用户增长最快的消费应用。


随着 ChatGPT 在全球范围内迅速走红,全球互联网大厂、创业公司纷纷加码布局。在国外,谷歌加急推出了人工智能聊天机器人 Bard Bard;在国内,百度将在 3 月推出类似 ChatGPT 的产品“文心一言”,除了百度,几家中国初创公司也这一赛道探索着。


近日,国内首个类 ChatGPT 模型终于来了。

复旦发布中国版 ChatGPT 模型 MOSS


2 月 20 日,复旦大学自然语言处理实验室宣布,国内第一个对话式大型语言模型 MOSS 已由邱锡鹏教授团队发布至公开平台(https://moss.fastnlp.top/),并邀公众参与内测。


据介绍,MOSS 可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。


根据 MOSS 官网的介绍,MOSS 和 ChatGPT 之间存在三大区别:


  1. MOSS 的参数数量远少于 ChatGPT。

  2. MOSS 通过与人类和其他 AI 模型交谈来学习,而 ChatGPT 通过人类反馈强化学习 (RLHF) 进行训练。

  3. MOSS 将开源以促进未来的研究,但 ChatGPT 可能不会。据悉,MOSS 的名称来自电影《流浪地球》。 在《流浪地球》中,MOSS 是一台智能量子计算机,也是领航员空间站核心智能主机,具有自我意识、自我迭代、自我更新的特点。


复旦大学发布的对话式大型语言模型 MOSS,其开发的基本步骤与 ChatGPT 一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。


MOSS 提供的示例显示,它能够回答问题、生成表格、代码等。比如,它能推荐 5 部科幻电影:



能生成一段 Python 程序实现快速排序:



也能解释代码背后的原理:



邱锡鹏表示:“尽管 MOSS 还有很大改善空间,但它的问世证明了在开发类 ChatGPT 产品的路上,国内科研团队有能力克服技术上的重要挑战”。MOSS 研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。


邱锡鹏是国内自然语言处理专家。根据复旦大学计算机科学技术学院官网介绍,邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习,发表 CCF-A/B 类论文 70 余篇。主持开发了开源自然语言处理工具 FudanNLP、FastNLP,获得了学术界和产业界的广泛使用。

内测服务器被挤爆,团队致歉


MOSS 发布后迅速登上热搜,不过,MOSS 开启内测没多久,服务器就被挤崩了。有用户在社交媒体上发布截图显示,该平台“服务器流量过载,请明天上午重试”。


2 月 21 日,MOSS 官网发布公告称:“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。我们一个学术研究的实验室无法做出和 ChatGPT 能力相近的模型,MOSS 只是想在百亿规模参数上探索和验证 ChatGPT 的技术路线,并且实现各种对话能力。


我们最初的想法只是想将 MOSS 进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”


MOSS 团队表示,未来 MOSS 将会开源。“MOSS 目前还处于内测阶段,主要目的为通过和用户交互来迭代优化,暂不适合大规模用户公测。在 MOSS 完成初步的验证之后,我们会将 MOSS 的经验、代码、模型参数开源出来供大家参考。中国版 ChatGPT 的诞生还需要中国全体 AI 从业者的努力,也更需要不断和人交互以提高能力。”

中国版 ChatGPT 前路漫漫


两天时间,MOSS 从开启内测时的全民欢呼,到内测服务器挤崩被骂,足见大众对中国版 ChatGPT 的期待。


不过,正如北京商报的评论所说,“MOSS 一口吃不成 ChatGPT”。受长期以来国内人才、投入、基础研究以及投资风格等方面的复杂因素影响,中国版 ChatGPT 距离真正的 ChatGPT 确实存在一定的距离。


邱锡鹏坦言:“MOSS 与 ChatGPT 的差距主要在自然语言模型基座预训练这个阶段。MOSS 的参数量比 ChatGPT 小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”


MOSS 团队表示,虽然 MOSS 获得了 ChatGPT 的一些能力,但由于缺乏高质量的数据、计算资源和模型能力,MOSS 仍然存在许多限制,MOSS 仍然远远落后于 ChatGPT。团队将通过提供一个可访问的 MOSS 界面,根据有价值的用户反馈(在获得许可的情况下)不断改进模型。


  • 由于训练数据中的多语言语料库有限,MOSS 在理解和生成非英语文本方面表现不佳。团队目前正在开发一个改进版本,以提高其中文语言能力。

  • 由于模型容量相对较小,MOSS 没有包含足够的世界知识。因此,MOSS 生成的某些响应可能包含误导性或虚假信息。

  • 有时 MOSS 会迂回执行,甚至不按指令执行。在这种情况下,用户可能需要多次重新生成或修改提示才能获得满意的响应。我们正在积极提高其指令遵循能力和生产力。

  • 有时 MOSS 会被提示生成不道德或有害的响应。用户可请点击“不喜欢”帮助其减轻此类行为, MOSS 团队将在下一个版本中更新模型。


正如前搜狗 CEO 王小川所说:“OpenAI 的成功,首先是技术理想主义的胜利。中国需要自己的 OpenAI,就需要技术理想主义。大厂受限于自己的业务牵引,追逐资本热点的创业公司更动作变形。不止如此,这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的 OpenAI。”


我们期望在未来 MOSS 能够成功,中国版 ChatGPT 能够成功。

2023-02-21 16:066011
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 545.7 次阅读, 收获喜欢 1978 次。

关注

评论 3 条评论

发布
用户头像
网红?
2023-02-24 15:21 · 山东
回复
用户头像
一个是商业产品,一个是测试demo,感觉完全不能拿来比较啊
2023-02-23 16:41 · 北京
回复
用户头像
居然还是英文示例!加油啊,小朋友!
2023-02-22 22:28 · 浙江
回复
没有更多了
发现更多内容

Flink的状态编程和容错机制

五分钟学大数据

大数据 flink 28天写作 3月日更

推荐一款小众且好用的 Python 爬虫库

星安果

Python 爬虫 RoboBrowser

62图带你入门Docker

我是程序员小贱

容器 面试 3月日更

手机高端化,需要不同却被认同

脑极体

【最新】2021年Hive阶段最全面试真题-附答案

大数据技术指南

大数据 hive 面试 28天写作 3月日更

区块链与隐私计算保护数据产权,让个人隐私不再“裸奔”

CECBC

区块链

如何与下属沟通?

石云升

程序员 28天写作 职场经验 管理经验 3月日更

数据湖到底是什么?有什么用?这篇文章告诉你

关二爷大数据笔记

大数据 数据湖 实时数仓

神了!终于有人把困扰我多年的Spring Boot讲明白了

架构 微服务 框架

CloudQuery, 一款基于WEB的数据库客户端(转自杨建荣的工作笔记)

BinTools图尔兹

微软的各种考试,不知道是不是真的“香”

IT蜗壳-Tango

3月日更

云边协同类型

lenka

3月日更

git 教程 --git revert 命令

生之欢愉,时间同行

分销的智能变局,华为好望云服务的铁索连环

脑极体

算法攻关 - 验证二叉搜索树 (O(n))_098

小诚信驿站

刘晓成 小诚信驿站 28天写作 算法攻关 验证二叉搜索树

公平

ES_her0

28天写作 3月日更

【数独问题】入门题:判断一个数独是否有效 ...

宫水三叶的刷题日记

面试 LeetCode 数据结构与算法

互联网人一天24小时在做些啥《打工人的那些事》

谙忆

喜讯 | 音视频云服务商拍乐云荣登「2021值得关注的中国教育公司」榜单

拍乐云Pano

音视频 在线教育 互动课堂 白板 教育科技

网页设计指南

张鹤羽

28天写作 3月日更

高效处理日均超 1000 亿次广告请求!Mobvista 是如何做到的?

亚马逊云科技 (Amazon Web Services)

10 个解放双手超实用在线工具,有些代码真的不用手写

比伯

Java 编程 架构 计算机 技术宅

Wireshark 数据包分析学习笔记 Day8

穿过生命散发芬芳

Wireshark 数据包分析 3月日更

数字经济时代,区块链能否担当产业数字化转型核心赋能者?

CECBC

数字经济

【技术干货】如何评价一款App的稳定性和质量?

性能优化 App 应用崩溃 anr 友盟

最简单的JVM内存结构图

叫练

JVM 堆栈 Java虚拟机 堆栈溢出 内存优化

多元化:为什么会产生不良资产?

boshi

战略思考 七日更 创业失败启示录

有钱人为什么配置加密货币?

CECBC

货币

二分查找以及变体

一个大红包

3月日更

DCache 分布式存储系统|List 缓存模块的创建与使用

TARS基金会

MySQL nosql 微服务 分布式缓存 TARS

源码分析-Netty:开篇

程序员架构进阶

架构 源码分析 Netty 28天写作 3月日更

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩_AI&大模型_刘燕_InfoQ精选文章