飞天发布时刻:2024年 Forrester 公有云平台Wave™评估报告解读 了解详情
写点什么

网易资深系统开发工程师陈静力确认出席 QCon 北京,分享 Curve 文件系统在 AI 场景下的实践

徐晓博

  • 2023-08-21
    北京
  • 本文字数:817 字

    阅读完需:约 3 分钟

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践

9 月 3 日 - 5 日,在 QCon 全球软件开发大会(北京站)上,网易资深系统开发工程师陈静力将发表题为《Curve 文件系统在 AI 场景下的实践》主题分享,介绍从 AI 的业务的不同场景出发, AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


陈静力,参与网易 Curve 文件系统从 0 到 1 的开发,在 Curve 文件系统落地 AI 场景有一定的实践。所参与的 Curve 项目是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,目前在网易内部已大规模应用。他在本次会议的演讲内容如下:


演讲:Curve 文件系统在 AI 场景下的实践


随着 AI 业务的迅速发展,产生的数据量越来越多,对存储的成本和性能提出了新的挑战。本次演讲将从 AI 的业务的不同场景出发(数据集 / 模型管理、在线编程 / 项目管理、数据预处理、训练和预测),说明 AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


演讲提纲:


  1. 背景


○ 介绍 AI 的业务特点(从不同场景出发讲对存储的需求)

○ 介绍 AI 的业务需求


  1. Curve 实践


○ Curve 文件系统简介

○ Curve 文件系统为 AI 业务降本

○ Curve 文件系统为 AI 业务提效


  1. 总结与展望


○ 和 AI 框架的融合:做到自动预热

○ 大数据和 AI 的融合:提供 HDFS 接口,使用 Curve 文件系统即可以用在数据生产收集也可以用于后续处理和训练

○ 推动在更多业务场景的落地


你将获得:


○ 了解 AI 场景对存储的需求

○ 了解 Curve 文件系统在对接 AI 业务中遇到问题与挑战、解决方案与收益


除上述演讲外,QCon 北京还将围绕 FinOps 落地云原生AIGC 浪潮下的研发效能提升业务安全技术面向 AI 的存储从 BI 到 BI+AI,新计算范式下的大数据平台等进行分享。


110+ 名嘉宾、近 30 个精彩专题、8 种交流活动,QCon 北京 2023,相约 9 月!咨询购票请联系 18514549229(微信同手机号)。



2023-08-21 15:252323

评论

发布
暂无评论
发现更多内容

香港云服务器的火爆市场,下一个未来发展将会怎么改变?

九河云安全

kafka日志写入logstash

Rubble

Logstash Kafk 8月日更

架构实战营 学习总结

👈

架构实战营

Nginx的常用功能总结

程序员阿杜

Java nginx 8月日更

云计算重塑生命科学行业,北鲲云加速生物制药企业转型

北鲲云

基于香港云服务器的解决方案可以增强金融服务公司在降低成本的同时降低风险

九河云安全

在 Dubbo3.0 上服务治理的实践

阿里巴巴中间件

云计算 Serverless 云原生 dubbo 中间件

oeasy教您玩转vim - 2 - # 使用帮助

o

vim

架构实战营 毕业设计

👈

架构实战营

YYDS!浪潮云蝉联中国政务云服务运营市场占有率第一

云计算

2021 营销数字化的下一个站点

人称T客

一文带你认识LPWA通信技术

华为云开发者联盟

物联网 通信 NB-IoT LPWA SigFox

oeasy教您玩转vim - 3 - # 打开文件

o

Camtasia添加弹题交互教程

淋雨

视频剪辑 Camtasia 录屏软件

云原生 | 混沌工程工具 ChaosBlade Operator 入门篇

RadonDB

混沌工程 RadonDB KubeSphere

时序数据库永远的难关 — 时间线膨胀(高基数 Cardinality)问题的解决方案

阿里巴巴中间件

云计算 阿里云 云原生 中间件 时序数据库

iOS官方瘦身方案ODR(一):初见On-Demand Resources

LabLawliet

ios 独立开发者 优化技巧 Apple Developer 8月日更

秒杀系统设计

Vincent

架构训练营

手把手教你在Windows和Linux下安装Redis及了解Redis基本操作

Regan Yue

redis Linux windows 8月日更

跟我学AI建模:分子动力学仿真模拟之DeepMD-kit框架

华为云开发者联盟

AI 仿真 分子动力学 分子 建模

中国大学 MOOC Android 性能优化:冷启动优化总结

有道技术团队

大前端 安卓 网易有道

团队对质量负责,“我”可以不负责?

BY林子

敏捷测试 责任流程模型

oeasy教您玩转vim - 3 - # 打开文件

o

测试开发之系统篇-按需创建测试虚拟机

禅道项目管理

虚拟机 自动化测试 测试开发

针对于香港服务器快速威胁检测是加强安全的关键

九河云安全

面向大规模商业系统的数据库设计和实践

百度Geek说

数据库 后端 数据库设计 数字化

为什么将网络虚拟化与实现服务器虚拟化不同?

九河云安全

聊聊Go语言中的数组与切片

架构精进之路

8月日更

Zilliz 陈室余:音视频相似性检索的技术实现丨ECUG Meetup 回顾

七牛云

AI 音视频 ECUG 七牛云

沙场秋点兵——MySQL容器化性能测试对比

焱融科技

MySQL 云计算 容器 高性能 分布式存储

难以置信!一篇文章就梳理清楚了 Python OpenCV 的知识体系

梦想橡皮擦

8月日更

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践_AI&大模型_InfoQ精选文章