QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

第一个中国版 ChatGPT 来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

  • 2023-02-21
    北京
  • 本文字数:2423 字

    阅读完需:约 8 分钟

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩

“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。”


自去年 11 月底正式发布以来,OpenAI 最新的 AI 聊天机器人 ChatGPT 迅速成为现象级应用。瑞银发布的研究报告显示,ChatGPT 在今年 1 月,月活跃用户估计已达 1 亿,成为历史上用户增长最快的消费应用。


随着 ChatGPT 在全球范围内迅速走红,全球互联网大厂、创业公司纷纷加码布局。在国外,谷歌加急推出了人工智能聊天机器人 Bard Bard;在国内,百度将在 3 月推出类似 ChatGPT 的产品“文心一言”,除了百度,几家中国初创公司也这一赛道探索着。


近日,国内首个类 ChatGPT 模型终于来了。

复旦发布中国版 ChatGPT 模型 MOSS


2 月 20 日,复旦大学自然语言处理实验室宣布,国内第一个对话式大型语言模型 MOSS 已由邱锡鹏教授团队发布至公开平台(https://moss.fastnlp.top/),并邀公众参与内测。


据介绍,MOSS 可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了重要经验,将助力大语言模型的进一步探索和应用。


根据 MOSS 官网的介绍,MOSS 和 ChatGPT 之间存在三大区别:


  1. MOSS 的参数数量远少于 ChatGPT。

  2. MOSS 通过与人类和其他 AI 模型交谈来学习,而 ChatGPT 通过人类反馈强化学习 (RLHF) 进行训练。

  3. MOSS 将开源以促进未来的研究,但 ChatGPT 可能不会。据悉,MOSS 的名称来自电影《流浪地球》。 在《流浪地球》中,MOSS 是一台智能量子计算机,也是领航员空间站核心智能主机,具有自我意识、自我迭代、自我更新的特点。


复旦大学发布的对话式大型语言模型 MOSS,其开发的基本步骤与 ChatGPT 一样,包括自然语言模型的基座训练、理解人类意图的对话能力训练两个阶段。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令,让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其他对话模型都进行交互,显著提升了学习效率和研发效率,短时间内就高效完成了对话能力训练。


MOSS 提供的示例显示,它能够回答问题、生成表格、代码等。比如,它能推荐 5 部科幻电影:



能生成一段 Python 程序实现快速排序:



也能解释代码背后的原理:



邱锡鹏表示:“尽管 MOSS 还有很大改善空间,但它的问世证明了在开发类 ChatGPT 产品的路上,国内科研团队有能力克服技术上的重要挑战”。MOSS 研发项目得到了上海人工智能实验室的有力支持。后期,这项工作将通过开源方式和业界社区分享。


邱锡鹏是国内自然语言处理专家。根据复旦大学计算机科学技术学院官网介绍,邱锡鹏教授于复旦大学获得理学学士和博士学位。研究方向为自然语言处理、深度学习,发表 CCF-A/B 类论文 70 余篇。主持开发了开源自然语言处理工具 FudanNLP、FastNLP,获得了学术界和产业界的广泛使用。

内测服务器被挤爆,团队致歉


MOSS 发布后迅速登上热搜,不过,MOSS 开启内测没多久,服务器就被挤崩了。有用户在社交媒体上发布截图显示,该平台“服务器流量过载,请明天上午重试”。


2 月 21 日,MOSS 官网发布公告称:“MOSS 还是一个非常不成熟的模型,距离 ChatGPT 还有很长的路需要走。我们一个学术研究的实验室无法做出和 ChatGPT 能力相近的模型,MOSS 只是想在百亿规模参数上探索和验证 ChatGPT 的技术路线,并且实现各种对话能力。


我们最初的想法只是想将 MOSS 进行内测,以便我们可以进一步优化,没有想到会引起这么大的关注,我们的计算资源不足以支持如此大的访问量,并且作为学术团队我们也没有相关的工程经验,给大家造成非常不好的体验和第一印象,在此向大家致以真诚的歉意。”


MOSS 团队表示,未来 MOSS 将会开源。“MOSS 目前还处于内测阶段,主要目的为通过和用户交互来迭代优化,暂不适合大规模用户公测。在 MOSS 完成初步的验证之后,我们会将 MOSS 的经验、代码、模型参数开源出来供大家参考。中国版 ChatGPT 的诞生还需要中国全体 AI 从业者的努力,也更需要不断和人交互以提高能力。”

中国版 ChatGPT 前路漫漫


两天时间,MOSS 从开启内测时的全民欢呼,到内测服务器挤崩被骂,足见大众对中国版 ChatGPT 的期待。


不过,正如北京商报的评论所说,“MOSS 一口吃不成 ChatGPT”。受长期以来国内人才、投入、基础研究以及投资风格等方面的复杂因素影响,中国版 ChatGPT 距离真正的 ChatGPT 确实存在一定的距离。


邱锡鹏坦言:“MOSS 与 ChatGPT 的差距主要在自然语言模型基座预训练这个阶段。MOSS 的参数量比 ChatGPT 小一个数量级,在任务完成度和知识储备量上,还有很大提升空间。”


MOSS 团队表示,虽然 MOSS 获得了 ChatGPT 的一些能力,但由于缺乏高质量的数据、计算资源和模型能力,MOSS 仍然存在许多限制,MOSS 仍然远远落后于 ChatGPT。团队将通过提供一个可访问的 MOSS 界面,根据有价值的用户反馈(在获得许可的情况下)不断改进模型。


  • 由于训练数据中的多语言语料库有限,MOSS 在理解和生成非英语文本方面表现不佳。团队目前正在开发一个改进版本,以提高其中文语言能力。

  • 由于模型容量相对较小,MOSS 没有包含足够的世界知识。因此,MOSS 生成的某些响应可能包含误导性或虚假信息。

  • 有时 MOSS 会迂回执行,甚至不按指令执行。在这种情况下,用户可能需要多次重新生成或修改提示才能获得满意的响应。我们正在积极提高其指令遵循能力和生产力。

  • 有时 MOSS 会被提示生成不道德或有害的响应。用户可请点击“不喜欢”帮助其减轻此类行为, MOSS 团队将在下一个版本中更新模型。


正如前搜狗 CEO 王小川所说:“OpenAI 的成功,首先是技术理想主义的胜利。中国需要自己的 OpenAI,就需要技术理想主义。大厂受限于自己的业务牵引,追逐资本热点的创业公司更动作变形。不止如此,这种理想主义还需要有爱国之心、商业智慧和学术尊重去获得政府支持、推动企业联盟和学术界协同。我相信中国能诞生自己的 OpenAI。”


我们期望在未来 MOSS 能够成功,中国版 ChatGPT 能够成功。

2023-02-21 16:065966
用户头像
刘燕 InfoQ高级技术编辑

发布了 1112 篇内容, 共 543.4 次阅读, 收获喜欢 1978 次。

关注

评论 3 条评论

发布
用户头像
网红?
2023-02-24 15:21 · 山东
回复
用户头像
一个是商业产品,一个是测试demo,感觉完全不能拿来比较啊
2023-02-23 16:41 · 北京
回复
用户头像
居然还是英文示例!加油啊,小朋友!
2023-02-22 22:28 · 浙江
回复
没有更多了
发现更多内容

浅析企业云服务之SaaS、PaaS、IaaS对比分析

郑州埃文科技

IaaS PaaS SaaS

为什么国企要加快推进数字化转型?

用友BIP

数字化转型 用友 用友iuap 用友YonBIP 国企

万字通俗讲解何为复杂度

华为云开发者联盟

数据结构 时间复杂度 复杂度 空间复杂度 复杂度分许

新插件上线,public API 处理能力更进一步

API7.ai 技术团队

HTTP APISIX APISIX 网关

斯图飞腾Stratifyd入选「2022爱分析·营销科技厂商全景报告」

Geek_2d6073

Apache APISIX 集成 HashiCorp Vault,生态系统再添一员

API7.ai 技术团队

开源 安全 后端 API网关 APISIX

使用goofys挂载S3 bucket为文件系统

阿呆

文件系统 goofys aws s3

StarRocks 元数据管理及 FE 高可用机制

邸星星

BerkeleyDB-JE bdbje StarRocks元数据管理

第十五节:SpringBoot使用JPA访问数据库

入门小站

spring-boot

极速生成缩略图,Serverless 支撑赛事转播锁定冬奥亮点

Serverless Devs

【场景化集成方案】如何让企业快速集成钉钉各种能力

钉钉开发者

钉钉能力中心 钉钉官网 场景化能力包 场景化解决方案 应用集成方案

常青藤开源科技加入,龙蜥社区再迎 HPC 和开源领域新伙伴

OpenAnolis小助手

Linux 开源 高性能计算

2022写作计划2月文章排行榜

TGO鲲鹏会

TGO鲲鹏会 写作计划

你知道钓鱼网站的形成步骤吗?一次网络钓鱼演练带你了解(增强安全意识)

H

网络安全 钓鱼网站

JWT Token在线编码生成

入门小站

工具

云服务器ECS选购指南及省钱法宝(强烈建议收藏)

阿里云弹性计算

玩转ECS 选购指南

COPT4.0新增凸QP、QCP和QCQP求解能力

杉数科技

求解器 优化求解器 凸QP 凸QCP

学生外包管理系统架构设计文档

孙强

#架构实战营

Nacos 在 Apache APISIX API 网关中的服务发现实践

API7.ai 技术团队

nacos 注册中心 服务发现 API网关 APISIX

Apache APISIX 新技能,代理 gRPC-Web 请求

API7.ai 技术团队

gRPC HTTP 网关 APISIX

Apache APISIX 集成 Open Policy Agent

API7.ai 技术团队

开源 后端 API网关 OPA Apache APISIX

阿里云资深专家李国强:云原生的一些趋势和新方向

Serverless Devs

异步请求积压可视化|如何 1 分钟内快速定位函数计算积压问题

Serverless Devs

计算IIS

杉数科技

求解器 优化求解器 计算IIS 混合整数规划 杉数科技

Window下Redis的安装和部署详细教程

明金同学

redis

生态扩大进行中!Apache APISIX 集成 Splunk HTTP Event Collector

API7.ai 技术团队

API网关 Apache APISIX

如何在设计时保证RPA机器人的稳定运行?

金小K

APP热更新技术最优解,不只是支持热更新...

Speedoooo

小程序 APP开发 容器安全 热更新 小程序容器

如何使用 Apache APISIX CSRF 安全插件拦截跨站点伪造攻击

API7.ai 技术团队

CSRF API网关 Apache APISIX

企业级 APIs 安全实践指南 (建议初中级工程师收藏)

领创集团Advance Intelligence Group

API

生态扩大进行中!Apache APISIX 支持 Azure Functions 集成

API7.ai 技术团队

microsoft azure API网关 Apache APISIX

第一个中国版ChatGPT来了!复旦团队出品,名字源自《流浪地球》,内测首日网站被挤崩_AI&大模型_刘燕_InfoQ精选文章