在大规模语言模型 (LLM) 的训练和推理实践中,工程和算法需求间存在许多需要细心权衡的问题。这些问题涉及到从软硬件协同优化,到分布式处理,以及至算法工程 Co-design 等多个领域。为了解决这些挑战,QCon 上海站杨斯然、刘侃两位专家,深入研究了不同的应用场景和流量特性,并对 LLM 系统进行了全面优化。
最新会议动态:QCon 全球软件开发大会暨智能软件开发生态展将于 4 月 11-13 日在北京·国测国际会议会展中心举办,点击链接了解大模型如何革新软件开发全流程。
杨斯然:目前是爱橙科技智能引擎事业部大模型训练团队负责人 刘侃:目前是推理引擎团队 TL,负责阿里集团内核心搜索推荐、AIGC 及大模型等在线推理服务平台建设,支撑着淘宝、天猫、聚划算、优酷、闲鱼等集团内各大 BU 的业务。
在大规模语言模型 (LLM) 的训练和推理实践中,工程和算法需求间存在许多需要细心权衡的问题。这些问题涉及到从软硬件协同优化,到分布式处理,以及至算法工程 Co-design 等多个领域。为了解决这些挑战,QCon 上海站杨斯然、刘侃两位专家,深入研究了不同的应用场景和流量特性,并对 LLM 系统进行了全面优化。
最新会议动态:QCon 全球软件开发大会暨智能软件开发生态展将于 4 月 11-13 日在北京·国测国际会议会展中心举办,点击链接了解大模型如何革新软件开发全流程。
评论