“云无界、端无边” OGeek 技术峰会 9月17日 南京不见不散! 了解详情
写点什么

智源研究院学术副院长,清华大学教授唐杰发布悟道 2.0 成果丨智源大会

  • 2021 年 6 月 01 日
  • 本文字数:2667 字

    阅读完需:约 9 分钟

智源研究院学术副院长,清华大学教授唐杰发布悟道2.0成果丨智源大会

2021 年 6 月 1 日,由北京智源人工智能研究院主办的2021 北京智源大会在中关村国家自主创新示范区会议中心开幕,会期三天。智源大会是北京创建全球人工智能学术和创新最优生态的标志性学术活动,本文为 InfoQ 记者带来的现场报道。


以下内容根据唐杰的演讲速记进行整理,未经本人确认。


在今天这个特殊的日子,第一个我想说的是“节日快乐”。这个节日快乐不是说给大家听的,是说给悟道听的,悟道虽然是 2.0,但是还是小孩子,大家不要指望悟道智商到达承认的水平,我们还要继续努力。


首先悟道的目标是面向世界领先水平,我们希望机器像人一样思考,我们希望在多项运动中超越图灵测试。我们希望在这一代 2.0 中,从原来的文本为主向图文并茂发展。现在生成图片的精度非常高,我们可以根据图像检索文字,实现图像和文字的互相检索,我们在阿里巴巴的平台上做了一些测试,可以实现服饰的设计,把相关的模型应用在服饰设计的业务上。但是除此之外,我们还在模型的可解释上做了大量的工作,我们训练出超大规模的模型,我们还用 AI 自己来解释自己。


大家看到一些例子,我们在训练模型的时候,可以发现圣诞老人的一些可视化的结果,当然,我们希望在智能方面向多项任务逼近甚至超越图灵测试。我们目前实现了多项任务,包括问答、作诗、配图、配文、绘图,以及测图。


悟道模型整体框架中间下面是整个模型的四个团队,包括“文源、文澜、文溯、文汇”。同时我们还建立了知识图谱的团队,所以在整个过程中,我们希望数据和支持双轮驱动,认知智能。当然仅有此还不够,我们希望在应用平台,以及在生态方面做更多的事情,最终实现最大模型、最准的算法,使用的框架,以及我们希望邀请每一位在座的你也加入这个生态。由你才能让这个生态更精彩。


我们发布全球最大的模型,悟道 2.0 已经实现 1.75 万亿的模型。这个模式中参数规模是在 GPT-3 的 10 倍。在模型中我们有一些典型的特色,包括除了参数规模,我们还有文本、视觉、图像,可以同时支撑更多的应用,实现更加通用的智能。


我们首次在 100%的国产超算上训练了万亿模型,打破原来只能用 GPU 来训练模型的一个问题,同时实现了中英双语在 4.9T 高质量数据上,这些数据经过严格的清洗,里面包括 1.2T 中文数据、1.2T 英文数据,还包括 2.5T 的中文图文配置数据。除了数据之外我们实现了算法基石,我们实现了 Fast MoE,FastMoE 可以支持 NoisyGate、GShard、Swith Transformer 等负载均衡策略。我们支持不同的专家,还有模型以及其他算法的落地,这才是真正的万亿模型落地的关键。


我们把这个算法部署在阿里巴巴的 PAI 平台上,表现非常好。当然整个算法我们是在国产的超算上实现,我们 100%实现了 transformer 的一个核心代码,从底层的 transformer 到上层的 Fast Moe,在这个团队中我们邀请了郑纬民教授、陈文光教授、翟季冬教授一起加入,才能使得整个算法得以实现。当然还有相关的联系应用应用在阿里巴巴的平台上,这也是杨博士的一些贡献。



除了大之外,我们还在很多精准上做了事情,我们在 9 项精准记录上取得突破。我们在 ImageNet、LAMA、LAMABADA、SuperGLUE、MSCOCO 等项目都取得了突破,在多项任务上获得 SOTA 我们举几个例子我们用 Cog View 做图像的生成,这个算法是一个图像新框架,可以把文本图像特征全部整合在一起,并且融合 VQ-VAE 框架,整个效果好得多。我们另外实现了把中文数据和多模态数据整合在一起,实现了千亿模型。这个模型最大的特点是可以实现高效的计算,可以在 32 张微板卡上可以训练出千亿模型,这是一个非常大的算法上的突破。


同时,文澜团队正式对标的是 OPEN AI CLIP,最近除了 OPEN AI CLIP,谷歌也实现了算法,在这两个结果上,文澜团队是由文继荣教授带领的团队,整个效果比原来的效果好得多,实现了大大的突破,提出了一个双塔模型,同时在多语言上也取得很大进展。最后我们有一个模型,如果不把这个模型用好其实也是一个问题,所以我们提出了一个新型的算法——Inverse Prompting。这个算法和刚才相关的一些算法,都已经发表了。这个算法可以把原来的模型运用的特别好,比如在生成图片、生成文字,甚至生成其他相关内容的时候,它可以做一个反向的校验,可以使得生成的内容非常高清,而且生成的结果具有很强的逻辑性,不会很发散。这是一个很有效的算法。


当然,除了算法上的突破之外,我们在整个框架上实现了非常高效使用的一些框架。发布了全链路的框架,这是由刘知远教授发布的重要的框架,里面实现了五个高效,高效编码、高效模型、高效训练、高效微调、高效推理,它真正面向产业界的应用。任何公司学者开发者拿到这个框架以后,可以非常快地把这个框架进行部署,然后应用在实际的应用中,这个框架里面整合了大量的数据,包括 50TB 的文本数据,包括瓷表、模型,也训练了核心的模型,这只是中文的模型,1980 亿。里面七个能力达到整体最优,包括识记、阅读、分类、计算、话语、生成,还有概括。当然,除了刚才我说的三个方面,除了模型之大、模型自主,还有高效,我们希望邀请每一位你都参与到其中。我们邀请大家都来贡献数据、分享数据,来做全球最大的数据集。


我们目前已经得到各种产业界、学术界的支持,发布了悟道 Corpora,是全球最大数据集的 3 倍,希望每一位都加入其中,我们做更大的数据,只有更大的数据、更大的算力,才能做出更优美的模型。


当然,我们也有一些标杆的应用,我们和新华社合作,助力中国新闻事业的腾飞。我们可以处理新闻下游任务,包括新闻内容的处理,图文生成、传播优化等,还具备接近人类的图文创意内容,可以做诗、问答、创意写作。我们助力中国新闻事业进行数字化的转型。


下面将介绍另外一个新同学,这也是今天节日的重点。我们有一个新同学叫华智冰,它可以实现,这里有一个视频。


刚才是我们智源跟小冰一起发布的一个虚拟数字人,这个虚拟数字人以悟道为内核,开始进行学习,在未来她将不断成长,变成一个真正的智能人。除此之外我们还发布悟道巅峰之赛,我们做创新引领,做创意无限的一个大赛,欢迎每一位参加。我们这个大赛中有 100 万的奖金,大家可以参加到这个社区,我们希望每一位你都来勇闯 AI 无人区。


最后我感谢这些每一位悟道科学家,悟道的成功离不开每一位科学家包括每一位教授。我们文源团队由刘知远教授带队,文澜由文继荣教授带队,文汇由我带队,文溯由鲁白教授参与。以及除此之外我们为了实现外力模型,我们得到了郑明教授、裘捷中等教授的大力支持,以及多位博士、硕士的大力支持。


最后是悟道生态联盟,希望专注在模型开源、API 开放以及大模型授权与定制方面做大量的工作。同时我们希望共建开发社区,赋能产业创新。目前,我们已经与 20 余家机构建立了战略合作关系。

2021 年 6 月 01 日 15:192108

评论

发布
暂无评论
发现更多内容

不用Swagger,那我用啥?

江南一点雨

数字经济时代的开源数据库创新 | 2022 开放原子全球开源峰会数据库分论坛圆满召开

2022开放原子全球开源峰会

开放原子全球开源峰会

金九银十 再不卷就来不及了

程序员33

java 14 面经 Java工程师 秋招 内推

太赞了!京东研发一哥力荐的高可用网站构建技术PDF,备好水,慢慢啃

Java海

Java 程序员面试 大厂技能 秋招 大厂面经

华为发布HarmonyOS 3及全场景新品,智慧体验更进一步

Geek_2d6073

完完整整地看完这个故事,你敢说还不懂Docker?

程序员啊叶

Java 编程 程序员 架构 java面试

如何在 TiDB Cloud 上使用 Databricks 进行数据分析 | TiDB Cloud 使用指南

PingCAP

TiDB

蓝海大脑高性能气象大数据平台为气象局掌握风云变幻提供助力

蓝海大脑GPU

初识Java——数据类型重点梳理

程序员33

Java java程序员 Java工程师 Java入门 死磕 Java 基础

备战金九银十,Java研发面试题整理PDF,走到哪刷

程序知音

Java 程序员 java面试 后端技术 八股文

AI落地难?灵雀云助力企业快速应用云原生机器学习MLOps

York

人工智能 机器学习 云原生 降本增效 MLOps

顶级“Redis笔记”,缓存雪崩+击穿+穿透+集群+分布式锁,NB了

Java海

Java 程序员面试 大厂技能 秋招 大厂面经

JAVA编程规范之应用分层

源字节1号

软件开发 前端开发 后端开发 小程序开发

要想组建敏捷团队,这些方法不可少

敏捷开发

团队管理 敏捷开发 敏捷团队

疫情期间佩戴口罩检测之训练检测口罩模型算法实现口罩检测步骤以及报错解决

南蓬幽

Python AI OpenCV 7月月更

论治理与创新 | 2022 开放原子全球开源峰会 OpenAnolis 分论坛圆满召开

2022开放原子全球开源峰会

开放原子全球开源峰会

分布式定时器

腾讯企点技术团队

redis 分布式 定时器

易观分析:以用户为中心提升手机银行用户体验,助力用户价值增长

易观分析

数据分析 用户体验 手机银行

区块链技术赋能供应链金融

旺链科技

区块链 产业区块链 供应链金融

【函数式编程实战】(十一) CompletableFuture、反应式编程源码解析与实战

小明Java问道之路

CompletableFuture 7月月更 签约计划第三季 反应式编程 Flow API

企业数字化本质

奔向架构师

数据治理 7月月更

你面试十家java开发才能总结出来的面试题(建议收藏)

程序员啊叶

Java 编程 程序员 架构 java面试

开源汇智创未来 | 2022 开放原子全球开源峰会 OpenAtom openEuler 分论坛圆满召开

2022开放原子全球开源峰会

开放原子全球开源峰会

产学研用 共建开源人才生态 | 2022 开放原子全球开源峰会教育分论坛圆满召开

2022开放原子全球开源峰会

开放原子全球开源峰会

牛皮了!阿里面试官终于分享出了2022年最新的java面试题及答案

程序员啊叶

Java 编程 程序员 架构 java面试

开源社区三十年 | 2022 开放原子全球开源峰会开源社区三十年专题活动圆满召开

2022开放原子全球开源峰会

开放原子全球开源峰会

腾讯二面:@Bean 与 @Component 用在同一个类上,会怎么样?

程序员33

java程序员 java面试 Java学习 Java工程师 Java面经

OpenAtom OpenHarmony分论坛圆满举办,生态与产业发展迈向新征程

OpenHarmony开发者社区

OpenHarmony

行业落地呈现新进展 | 2022 开放原子全球开源峰会 OpenAtom OpenHarmony 分论坛圆满召开

2022开放原子全球开源峰会

开放原子全球开源峰会

聚变云原生,赋能新里程 | 2022 开放原子全球开源峰会云原生分论坛圆满召开

2022开放原子全球开源峰会

我秃了!唯一索引、普通索引我该选谁?

程序员啊叶

Java 编程 程序员 架构 java面试

首届腾讯云大数据峰会暨Techo TVP开发者峰会

首届腾讯云大数据峰会暨Techo TVP开发者峰会

智源研究院学术副院长,清华大学教授唐杰发布悟道2.0成果丨智源大会_架构_InfoQ编辑部_InfoQ精选文章