AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

腾讯云总裁邱跃鹏:大模型将重新定义云上工具和应用

  • 2023-09-07
    北京
  • 本文字数:1166 字

    阅读完需:约 4 分钟

腾讯云总裁邱跃鹏:大模型将重新定义云上工具和应用

 9 月 7 日,2023 腾讯全球数字生态大会上,腾讯发布了自己的通用大模型混元大模型,腾讯集团副总裁、云与智慧产业事业群 COO、腾讯云总裁邱跃鹏介绍了腾讯云在训练大模型过程中做的措施支持和优化。

 

据介绍,目前腾讯云已经建立起围绕大模型的全套能力,包括高性能算力集群、云原生数据湖仓和向量数据库等数据处理引擎、以及模型安全、支持模型训练和精调的工具链等,企业、开发者可以根据各自需求,灵活选择产品,降低大模型的训练成本。

 

训练大模型对算力的要求非常高,GPU 这样的高密算力在训练过程中本身稳定性也要比原来通用计算差一些。每次发生 GPU 卡故障,对整个训练中断的影响、回滚的要求和工程化的要求都非常高。

 

训练混元大模型期间,腾讯云对自身的云基础设施,从存储、网络到计算进行了全面升级。基于星海服务器,腾讯云把 GPU 的服务器故障率降低超 50%;基于星脉网络,腾讯云可以支持超过 10 万张卡并行计算的大规模训练集群。

 

在训练过程中,如果发生卡方面的故障,整个训练要被中断、做回滚,这对 checkpoint 写的速度要求非常高,传统的存储服务或者一些商业产品很难满足 checkpoint 写的要求。通过做存储升级,腾讯云可以在 60s 内完成超过 3TB 的数据写入,提高了整体的训练效率。通过存储、计算、网络整体的升级,腾讯云一轮万亿参数的训练可以在 4 天之内完成。

 

有了足够的算力做模型训练后,下一步就是做原数据的清洗。混元大模型每次更新数据都要做数据清洗。随着数据越来越多,数据清洗过程也会成为制约整个模型迭代升级的重要因素。通过腾讯云的原生数据湖仓和向量数据库,腾讯云可以每秒写入百万级数据,对于海量数据的清洗也达到了 Tbps 级吞吐能力。原数据的清洗性能提升超过了 40%,数据处理的整体运营成本也降低了 50%。据悉,MiniMax、百川等创业公司也在使用腾讯云的解决方案。

 

在完成了使用算力、清洗和处理数据之后,企业怎样能够更快、更高效地构建行业模型?为此,腾讯云打造了企业模型精调过程中的全栈式研发工具,每个企业可以基于 TI 平台,使用腾讯云的加速框架、基础算力和开源工具等。另外,腾讯的玄武实验室打造了隐私安全解决方案,让模型交互变得更加安全。

 

邱跃鹏表示,大模型进一步提升了云产品的效能。比如,腾讯云风控大模型、腾讯云 AI 代码助手、腾讯会议 AI 小助手等产品,都因为大模型能力的加持,实现了显著的效率提升和体验优化。目前,腾讯会议 AI 小助手已经正式开放试用申请,同时新推出了国内首个裸眼 3D 视频会议功能。

 

“云是大模型的最佳载体,大模型将开创下一代云服务的全新形态。”邱跃鹏说道。一方面,高性能的云上算力,成了大模型的最佳助推器;搭载大模型能力的应用,也通过云服务的方式落地。无论是训练大模型、还是使用大模型,都离不开云。另一方面,大模型将重新定义云上工具,效能显著提升,企业可以通过云,使用智能化水平更高、更便捷易用的云产品。

 

2023-09-07 16:105474

评论

发布
暂无评论
发现更多内容

拥抱变化

阿萌

28天写作

项目管理变更之关注要素变化

L3C老司机

快乐的开始还是痛苦的开始?

Nydia

懂分析、会预测,你见过这样的华为云DAS吗?

华为云开发者联盟

人工智能 sql 数据管理系统 智能运维 华为云DAS

Windows DHCP最佳实践(四)

BigYoung

运维 windows Windows Server 2012 R2 DHCP

hive窗口函数/分析函数详细剖析

五分钟学大数据

Hive SQL

做一枚旗帜Be a Flag

石君

28天写作

如果不完美,接受就好了「14/28」

道伟

28天写作

国内新能源车厂商的小白认知 (28天写作 Day14/28)

mtfelix

自动驾驶 28天写作 新能源汽车

谈谈敏捷开发中的文档

张老蔫

28天写作

项目管理系列(7)-PMO有啥用

Ian哥

28天写作

人类为啥要睡觉?

Justin

心理学 28天写作 睡眠

【CSS】内圆角(box-shadow、outline)

德育处主任

html5 大前端 Web CSS小技巧 28天写作

28天瞎写的第二百二十五天:通过打游戏维护客户关系的故事

树上

28天写作

2020我写了什么?

秦怀杂货店

编程 思考

赤裸裸地监视,亚马逊的员工没有隐私

李忠良

28天写作

关于低代码的进一步思考

lidaobing

低代码 28天写作

重学JS | 一文看懂浏览器数据库IndexedDB详细操作

梁龙先森

大前端 编程语言 28天写作

连云港:“云底座”构建智慧教育的未来图景

IT版“历史上的今天”

IT蜗壳-Tango

七日更

​Infura - 共识问题

谢锐 | Frozen

Rebase Ethereum blockchain web3 hackers infura

【并发编程的艺术】JAVA 原子操作实现原理

程序员架构进阶

架构 JVM Java内存模型 28天写作

Soul 源码阅读 02|WebSocket建立连接的过程

哼干嘛

大数据知识专栏 - MapReduce 的 Map端Join

小马哥

大数据 hadoop mapreduce 七日更

Dubbo中的统一契约是如何实现的?

冰河

分布式 微服务 dubbo 服务注册与发现 服务治理

在胡萝卜和大棒失效的当下,如何焕发员工的热情?

一笑

团队管理 管理 驱动力量 28天写作

接到需求,你要先做哪件事?

熊斌

学习 需求分析 28天写作

团队复盘之kiss

张老蔫

28天写作

Java内存模型(JMM)详解

Java 编程 面试

Django报错:"Key 'id' not found in 'xxx'. Choices are: xxx"

BigYoung

Python django

如何使用docsify搭建自己的github文档?

秦怀杂货店

GitHub Pages

腾讯云总裁邱跃鹏:大模型将重新定义云上工具和应用_腾讯_褚杏娟_InfoQ精选文章