写点什么

全面拥抱大模型!腾讯正式开放全自研通用大模型:参数规模超千亿、预训练语料超 2 万亿 tokens

  • 2023-09-07
    北京
  • 本文字数:1055 字

    阅读完需:约 3 分钟

大小:564.16K时长:03:12
全面拥抱大模型!腾讯正式开放全自研通用大模型:参数规模超千亿、预训练语料超2万亿tokens

9 月 7 日,2023 腾讯全球数字生态大会上,腾讯集团高级执行副总裁、云与智慧产业事业群 CEO 汤道生正式发布全链路自研的通用大语言模型:混元大模型。混元大模型具备强大的中文创作能力、复杂语境下的逻辑推理能力,以及可靠的任务执行能力。


汤道生表示:“以大模型生成技术为核心,人工智能正在成为下一轮数字化发展的关键动力,也为解决产业痛点带来了全新的思路。大模型需要基于产业场景,与企业数据融合,才能释放出最大的价值。”

 

据悉,腾讯混元大模型参数规模超千亿,预训练语料超 2 万亿 tokens,当前版本的知识截止到 2023 年 7 月。混元大模型基于 Transformer,首先进行大规模自监督预训练,之后进行有监督精调,最后通过强化学习进行优化,同时具有一定调用外部插件工具的能力。

 

混元大模型推理能力展示

 

腾讯集团副总裁蒋杰表示,开源大模型并不适应腾讯海量高并发场景,自研才能完全掌握技术内核,将大模型更好地融入到腾讯的技术栈中。据悉,混元大模型以腾讯强大的算力基础设施为基础,腾讯掌握从模型算法到机器学习框架再到 AI 基础设施的全链路自研技术,包括从大规模、高质量、多样化的语料库,到创新的大模型算法,再到自研 Angel 机器学习框架和创新性的训练方法等研发能力。

 

针对大模型容易“胡言乱语”的问题,腾讯通过自研“探真”算法进行事实修正,让混元大模型的幻觉相比主流开源大模型降低了 30%-50%;通过强化学习的方法,让模型学会识别陷阱问题,对安全诱导问题的拒答率提高了 20%;通过位置编码优化,提高了超长文的处理效果和性能;提出思维链的新策略,强化模型对问题拆解和分布思考的趋向,让大模型能够像人一样结合实际的应用场景进行推理和决策。此外,腾讯还自研了机器学习框架 Angel,使训练速度相比业界主流框架提升 1 倍,推理速度比业界主流框架提升 1.3 倍。

 

混元大模型测评数据

 

蒋杰表示,混元大模型已经成为腾讯的业务底座。目前,腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ 浏览器等 50 多个腾讯内部业务和产品,已经接入腾讯混元大模型测试并取得初步效果。

 

 

混元大模型在腾讯文档的应用示范

 

据了解,混元大模型将作为腾讯云 MaaS(Model-as-a-Service)服务的底座,客户不仅可以直接通过 API 调用混元,也可以将混元作为基底模型,为不同产业场景构建专属应用。

 

据悉,从 2018 年开始,腾讯开始探索大模型相关技术,先后推出了多个千万/亿参数大模型:2019 年,腾讯推出了广告推荐 MoE 大模型,单模型参数超千亿;2021 年,腾讯推出了千亿规模的 NLP 大模型;2022 年,腾讯推出万亿参数的 NLP 稀疏大模型。

 

2023-09-07 11:215408

评论

发布
暂无评论
发现更多内容

深入学习 XML 解析器及 DOM 操作技术

小万哥

xml 程序人生 编程语言 软件工程 前端开发

【线上问题】记一次公司日志基础组件SPI使用不当导致业务中断

Disaster

bug java 并发

解开命运之"结",重拾现实自由——《1Q84》中的奇幻现实与人生哲学

少油少糖八分饱

读书笔记 命运 村上春树 小说推荐 1Q84

敢闯技术无人区 TCL实业斩获多项AWE 2024艾普兰奖

Geek_2d6073

CAD如何与EXCEL数据关联

Geek_2d6073

未来经济世界里,理想的财务规划与分析团队

智达方通

全面预算管理 企业规划

WorkPlus Meet局域网视频会议软件的领先解决方案

WorkPlus

玩转数据-Python数据采集的方法-淘宝商品详情接口

技术冰糖葫芦

API 接口

Waves12破解版安装教程 Mac版全套音频效果处理工具 支持M1/M2

Rose

华为配置Hotspot2.0无线网络示例

知孤云出岫

网络安全

移相全桥DC-DC变换器快速设计与开发

芯动大师

芯片 DC-DC 电源控制

SketchUp Pro2023中文集成破解版【含草图大师2023序列号和验证码】

Rose

兼容m1 Lightroom Classic 2021 for mac(lr 2021 中文大师版)

Rose

1688API接口推荐:1688店铺所有商品数据接口

tbapi

1688API 1688店铺所有商品接口 1688店铺数据接口

Vben-Admin 错误 Cannot destructure property 'VITE_GLOB_APP_TITLE' of 't' as it is undefined

麦兜

SQL注入攻击有什么解决办法

德迅云安全杨德俊

WorkPlus领先的IM厂家,为企业提供高质量的沟通解决方案

WorkPlus

macOS 的专业音乐播放器和 MIDI 文件编辑器QMidi Pro for Mac破解版

Rose

阿里巴巴面试经验!Java高级面试指南手册程序员必备系列

阿里、莫言

Java java面试 金三银四

散热利器来袭,TG Pro for Mac让你告别Mac过热问题!

Rose

AI是助力还是取代我们?

Bruce Talk

AI Copilot

华为云网站高可用解决方案引爆华为云开年采购季:助力多场景下业务高可用、数据高可靠

轶天下事

如何让 iPhone 无线投屏到 Mac 上呢?airserver mac专业投屏工具

Rose

博客平台选择指南:找到适合程序员的完美舞台

程序员何未来

程序人生 写作

WorkPlus行政单位内部即时通讯软件的最佳解决方案

WorkPlus

path finder for mac 激活码 最好用的文件管理浏览器

Rose

简单实用的鼠标右键助手专业版MouseBoost Pro mac版

Rose

ACCDB MDB Explorer for mac 专业的MDB和ACCDB数据库查看器

Rose

Python里for循环要遍历的数据很多很大怎么办?

算法的秘密

Kubernetes反模式避坑指南

俞凡

Kubernetes 最佳实践

精美和令人震撼的3D动态桌面壁纸Mach Desktop 4K for Mac

Rose

全面拥抱大模型!腾讯正式开放全自研通用大模型:参数规模超千亿、预训练语料超2万亿tokens_腾讯_褚杏娟_InfoQ精选文章