写点什么

腾讯云总裁邱跃鹏:大模型将重新定义云上工具和应用

  • 2023-09-07
    北京
  • 本文字数:1166 字

    阅读完需:约 4 分钟

腾讯云总裁邱跃鹏:大模型将重新定义云上工具和应用

 9 月 7 日,2023 腾讯全球数字生态大会上,腾讯发布了自己的通用大模型混元大模型,腾讯集团副总裁、云与智慧产业事业群 COO、腾讯云总裁邱跃鹏介绍了腾讯云在训练大模型过程中做的措施支持和优化。

 

据介绍,目前腾讯云已经建立起围绕大模型的全套能力,包括高性能算力集群、云原生数据湖仓和向量数据库等数据处理引擎、以及模型安全、支持模型训练和精调的工具链等,企业、开发者可以根据各自需求,灵活选择产品,降低大模型的训练成本。

 

训练大模型对算力的要求非常高,GPU 这样的高密算力在训练过程中本身稳定性也要比原来通用计算差一些。每次发生 GPU 卡故障,对整个训练中断的影响、回滚的要求和工程化的要求都非常高。

 

训练混元大模型期间,腾讯云对自身的云基础设施,从存储、网络到计算进行了全面升级。基于星海服务器,腾讯云把 GPU 的服务器故障率降低超 50%;基于星脉网络,腾讯云可以支持超过 10 万张卡并行计算的大规模训练集群。

 

在训练过程中,如果发生卡方面的故障,整个训练要被中断、做回滚,这对 checkpoint 写的速度要求非常高,传统的存储服务或者一些商业产品很难满足 checkpoint 写的要求。通过做存储升级,腾讯云可以在 60s 内完成超过 3TB 的数据写入,提高了整体的训练效率。通过存储、计算、网络整体的升级,腾讯云一轮万亿参数的训练可以在 4 天之内完成。

 

有了足够的算力做模型训练后,下一步就是做原数据的清洗。混元大模型每次更新数据都要做数据清洗。随着数据越来越多,数据清洗过程也会成为制约整个模型迭代升级的重要因素。通过腾讯云的原生数据湖仓和向量数据库,腾讯云可以每秒写入百万级数据,对于海量数据的清洗也达到了 Tbps 级吞吐能力。原数据的清洗性能提升超过了 40%,数据处理的整体运营成本也降低了 50%。据悉,MiniMax、百川等创业公司也在使用腾讯云的解决方案。

 

在完成了使用算力、清洗和处理数据之后,企业怎样能够更快、更高效地构建行业模型?为此,腾讯云打造了企业模型精调过程中的全栈式研发工具,每个企业可以基于 TI 平台,使用腾讯云的加速框架、基础算力和开源工具等。另外,腾讯的玄武实验室打造了隐私安全解决方案,让模型交互变得更加安全。

 

邱跃鹏表示,大模型进一步提升了云产品的效能。比如,腾讯云风控大模型、腾讯云 AI 代码助手、腾讯会议 AI 小助手等产品,都因为大模型能力的加持,实现了显著的效率提升和体验优化。目前,腾讯会议 AI 小助手已经正式开放试用申请,同时新推出了国内首个裸眼 3D 视频会议功能。

 

“云是大模型的最佳载体,大模型将开创下一代云服务的全新形态。”邱跃鹏说道。一方面,高性能的云上算力,成了大模型的最佳助推器;搭载大模型能力的应用,也通过云服务的方式落地。无论是训练大模型、还是使用大模型,都离不开云。另一方面,大模型将重新定义云上工具,效能显著提升,企业可以通过云,使用智能化水平更高、更便捷易用的云产品。

 

2023-09-07 16:105256

评论

发布
暂无评论
发现更多内容

TCP 三次握手,给我长脸了噢

程序员小富

TCP

GPT-4炸圈--多模态大模型

江湖修行

人工智能 大模型 GPT ChatGPT GPT-4

百度生成式AI产品文心一言邀请测试,五大场景、五大能力革新生产力工具

飞桨PaddlePaddle

百度 飞桨 文心一言

DevData Talks 直播预告 | 微众银行的研发效能实践有哪些经验?

思码逸研发效能

研发效能 DevData Talks

Next.js 实践:从 SSR 到 CSR 的优雅降级

Crazy Urus

React nextjs SSR

如何测试一个AI系统?

陈磊@Criss

AI 测试

李彦宏文心一言发布会 highlight

B Impact

如何应用BI系统运营提效,一起看看瓴羊Quick BI的表现

对不起该用户已成仙‖

NodeJS 实战系列:模块设计与文件分类

光毅

JavaScript node.js

Nacos心跳机制实现快速上下线

做梦都在改BUG

Java Spring Cloud nacos 心跳机制

Capital

Echo_Wish

学习 进步 笔记 资源 本质

设计模式-策略模式

蓬蒿

设计模式 策略模式

在 windows 上连接 wsl 和直接打开 ubantu 有什么区别?

玄兴梦影

wsl window

使用价值三角方法来全方位分析产品

产品海豚湾

产品 产品经理 产品设计 产品运营 商业洞察

在追求卓越的路上,面对压力时,推荐你这二个做法。

叶小鍵

想到哪说到哪的AI

FN0

AIGC

两会代表热议采用ChatGPT指导论文写作:防范抄袭的探索与思考

GPU算力

人工智能 深度学习 ChatGPT

vivo 短视频用户访问体验优化实践

vivo互联网技术

CDN HTTP 优化 DNS 实践

内部开发者门户是什么?

SEAL安全

微服务 企业号 3 月 PK 榜 内部开发者门户 信息碎片化

深圳.NET线下技术沙龙倒计时一天

MASA技术团队

.net MASA

如何快速理解网络IO模型

Dinfan

Netty 事件循环 IO模型 Reactor多线程 网络io模型

PyTorch深度学习实战 | 基于ResNet的人脸关键点检测

TiAmo

深度学习 人脸识别 PyTorch

聊聊「订单」业务的设计与实现

Java 架构 订单管理 订单系统 订单

openGemini正式加入openEuler DB SIG,携手开展全方面技术创新

华为云开源

时序数据库

百度版ChatGPT:文心一言发布会盛大召开!

雪奈椰子

Go语言实现策略模式

蓬蒿

策略模式

Toast的基本使用

芯动大师

android Adapter toast

MongoDB源码学习:执行创建Collection命令

云里有只猫

mongodb 源码解析

Matlab常用图像处理命令108例(七)

timerring

图像处理

低代码四大典型使用场景,你都知道吗?

SoFlu-JavaAI开发助手

"鸿蒙生态专家面对面"三月专场等你前来!

HarmonyOS开发者

腾讯云总裁邱跃鹏:大模型将重新定义云上工具和应用_腾讯_褚杏娟_InfoQ精选文章