在《大模型时代的 AI 基础设施——百度 AI 大底座》系列云智公开课第五讲中，百度飞桨架构师曾锦乐分享了飞桨大模型分布式训练技术。

首先，他介绍了大模型训练的背景与挑战。近年来，大模型训练面临数据量大、模型参数量大等问题，同时，大模型分布式训练技术经历了从“基础并行技术”到“组合并行技术”、从“稠密单体模型”到“稀疏专家模型”的发展；之后，他详细介绍了飞桨大模型特色分布式训练技术；另外，他介绍了飞桨大模型端到端性能优化方案，包括数据读取优化、模型实现优化、高性能算子优化、分布式策略优化；最后，他还具体分享了飞桨大模型应用实践。