9 月 3 日 - 5 日,在 QCon 全球软件开发大会(北京站)上,网易资深系统开发工程师陈静力将发表题为《Curve 文件系统在 AI 场景下的实践》主题分享,介绍从 AI 的业务的不同场景出发, AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。
陈静力,参与网易 Curve 文件系统从 0 到 1 的开发,在 Curve 文件系统落地 AI 场景有一定的实践。所参与的 Curve 项目是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,目前在网易内部已大规模应用。他在本次会议的演讲内容如下:
演讲:Curve 文件系统在 AI 场景下的实践
随着 AI 业务的迅速发展,产生的数据量越来越多,对存储的成本和性能提出了新的挑战。本次演讲将从 AI 的业务的不同场景出发(数据集 / 模型管理、在线编程 / 项目管理、数据预处理、训练和预测),说明 AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。
演讲提纲:
背景
○ 介绍 AI 的业务特点(从不同场景出发讲对存储的需求)
○ 介绍 AI 的业务需求
Curve 实践
○ Curve 文件系统简介
○ Curve 文件系统为 AI 业务降本
○ Curve 文件系统为 AI 业务提效
总结与展望
○ 和 AI 框架的融合:做到自动预热
○ 大数据和 AI 的融合:提供 HDFS 接口,使用 Curve 文件系统即可以用在数据生产收集也可以用于后续处理和训练
○ 推动在更多业务场景的落地
你将获得:
○ 了解 AI 场景对存储的需求
○ 了解 Curve 文件系统在对接 AI 业务中遇到问题与挑战、解决方案与收益
除上述演讲外,QCon 北京还将围绕 FinOps 落地、云原生、AIGC 浪潮下的研发效能提升、业务安全技术、面向 AI 的存储、从 BI 到 BI+AI,新计算范式下的大数据平台等进行分享。
110+ 名嘉宾、近 30 个精彩专题、8 种交流活动,QCon 北京 2023,相约 9 月!咨询购票请联系 18514549229(微信同手机号)。
评论