腾讯混元大模型升级：正式开放“文生图”功能，代码能力大幅提升 20%

10 月 26 日，腾讯宣布，腾讯混元大模型迎来全新升级，升级后的腾讯混元中文能力整体超过 GPT3.5，代能力大幅提升 20%，达到业界领先水平。同时，腾讯混元大模型正式对外开放“文生图”功能。

再升级：代码处理效果胜出 ChatGPT 6.34%

据混元大模型首次亮相已经过去一个多月。现在除了千亿参数规模大主模型之外，腾讯自研的面向垂直领域的 7B 和 13B 模型也首次亮相，这些都是基于 Angel 机器学习平台打造，业务形态形式也是通过 API 接入。

目前，千亿模型训练数超过了 2.5T，支持多语言高压缩比 Tokemizer，单 token 信息量更大。对于中小 Size 模型，混元系列与其他开源模型类似：具备多强言能力；同等效果下仅需较少的 tokans，并兼顾通用和行业等业参场景。

对于大模型来说，指令遵循上有几个挑战：一是模型泛化能力差，需要解决多任务训练过程的抗干扰问题；二是多轮对话指令记忆弱，需要解决长记忆问题；三是逻辑思维差，代码能力的背后就是逻辑推理；四是优质指令获取非常难，人工标注质量不稳定且周期长，需要人机配合的方式获得更大量的优质数据，开源数据有限，质量参差不齐。

对此，混元 LLM-SFT 技术主要采取了动态锯齿注意力机制提升泛化能力与对话上文抗干扰能力，使用渐进思维链激发模型逐渐思考的逻辑推理能力，使用 Ghost Attention 增强模型在多轮对话下的指令跟随能力，并做了复杂指令自动进化。腾讯方面表示，通过这些优化之后，混元综合测评达到国内第一梯队，中文指令下超过 GPT-3.5。

腾讯机器学习平台算法负责人康战辉重点介绍了混元大模型代码方面的能力。代码技术主要是两个方向进行了优化：一是代码预训练，二是 SFT 指令微调。腾讯表示，经过对 32 种主流语言代码文件、各类计算机书籍和博客的学习增训，腾讯混元代码处理水平提升超过 20%，代码处理效果胜出 ChatGPT 6.34%，在 HumanEval 公开测试集指标上全面超过 Starcoder、Codellama 等业界头部开源代码大模型。具体效果如下：

腾讯内部目前已经有多个开发平台接入了腾讯混元大模型，工程师们可以使用腾讯混元来进行代码生成、代码补全、代码漏洞检测和修复、表格数据处理、数据库查询等工作。

据悉，目前超过 180 个腾讯内部业务已接入腾讯混元，包括腾讯会议、腾讯文档、企业微信、腾讯广告和微信搜一搜等。另外，已有来自零售、教育、金融、医疗、传媒、交通、政务等多个行业的客户，通过腾讯云调用腾讯混元大模型 API，应用领域涉及智能问答、内容创作、数据分析、代码助手等多个场景。

今年 9 月首批通过备案后，腾讯混元大模型也已经面向 C 端用户陆续开放体验，用户通过小程序或网页端，就能与腾讯混元对话。

开放文生图功能，发丝、皱纹等细节效果提升 30%

文生图是 AIGC 领域的核心技术之一，也是体现通用大模型能力的试金石，对模型算法、训练平台、算力设施都有较高的要求。混元文生图模型主要围绕着算法模型、数据系统和工程平台三个方面演进。

大模型文生图的难点体现在对提示词的语义理解、生成内容的合理性以及生成图片的效果。针对这三个技术难点，腾讯提出了一系列原创算法，来保证生成图片的可用性和画质。

在语义理解方面，腾讯混元采用了中英文双语细粒度的模型。模型同时建模中英文实现双语理解，并通过优化算法提升了模型对细节的感知能力与生成效果，有效避免多文化差异下的理解错误。

在内容合理性方面，AI 生成人体结构和手部经常容易变形。混元文生图通过增强算法模型的图像二维空间位置感知能力，并将人体骨架和人手结构等先验信息引入到生成过程中，让生成的图像结构更合理，减少错误率。

在画面质感方面，混元文生图基于多模型融合的方法，提升生成质感。经过模型算法的优化之后，混元文生图的人像模型，包含发丝、皱纹等细节的效果提升了 30%；场景模型，包含草木、波纹等细节的效果提升了 25%。

例如，输入提示词“生成可爱的亚洲 4 岁女孩穿着棉质连衣裙，大眼睛，古代中国，摄影风格，汉服”，腾讯混元大模型生成如下：

目前，腾讯混元文生图能力已经被用于素材创作、商品合成、游戏出图等多项业务中，此外在广告业务下的多轮测评中，腾讯混元文生图的案例优秀率和广告主采纳率分别达到 86%和 26%，均高于同类模型。

据了解，腾讯混元大模型持续升级背后，离不开腾讯自研一站式机器学习平台 Angel 的支撑。自研 AngelPTM 训练框架可提供高效的分布式训练解决方案，具备业界领先的内存利用率和训练吞吐效率，训练速度相比业界主流框架提升 1 倍；自研 AngelHCF 训练框架，具备从蒸馏、微调、压缩到模型加速的完整能力，支持多种模型并行，保证模型的最小化部署及最大化吞吐，推理速度相比业界主流框架 FasterTransformer 快 1.3 倍。