开工福利|免费学 2200+ 精品线上课,企业成员人人可得! 了解详情
写点什么

网易资深系统开发工程师陈静力确认出席 QCon 北京,分享 Curve 文件系统在 AI 场景下的实践

徐晓博

  • 2023-08-21
    北京
  • 本文字数:817 字

    阅读完需:约 3 分钟

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践

9 月 3 日 - 5 日,在 QCon 全球软件开发大会(北京站)上,网易资深系统开发工程师陈静力将发表题为《Curve 文件系统在 AI 场景下的实践》主题分享,介绍从 AI 的业务的不同场景出发, AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


陈静力,参与网易 Curve 文件系统从 0 到 1 的开发,在 Curve 文件系统落地 AI 场景有一定的实践。所参与的 Curve 项目是云原生计算基金会 (CNCF) Sandbox 项目,是网易主导自研和开源的高性能、易运维、云原生的分布式存储系统,目前在网易内部已大规模应用。他在本次会议的演讲内容如下:


演讲:Curve 文件系统在 AI 场景下的实践


随着 AI 业务的迅速发展,产生的数据量越来越多,对存储的成本和性能提出了新的挑战。本次演讲将从 AI 的业务的不同场景出发(数据集 / 模型管理、在线编程 / 项目管理、数据预处理、训练和预测),说明 AI 业务对存储系统的需求,并介绍 Curve 文件系统采用了哪些技术来满足这些需求,以及在实践过程中遇到的问题与挑战。


演讲提纲:


  1. 背景


○ 介绍 AI 的业务特点(从不同场景出发讲对存储的需求)

○ 介绍 AI 的业务需求


  1. Curve 实践


○ Curve 文件系统简介

○ Curve 文件系统为 AI 业务降本

○ Curve 文件系统为 AI 业务提效


  1. 总结与展望


○ 和 AI 框架的融合:做到自动预热

○ 大数据和 AI 的融合:提供 HDFS 接口,使用 Curve 文件系统即可以用在数据生产收集也可以用于后续处理和训练

○ 推动在更多业务场景的落地


你将获得:


○ 了解 AI 场景对存储的需求

○ 了解 Curve 文件系统在对接 AI 业务中遇到问题与挑战、解决方案与收益


除上述演讲外,QCon 北京还将围绕 FinOps 落地云原生AIGC 浪潮下的研发效能提升业务安全技术面向 AI 的存储从 BI 到 BI+AI,新计算范式下的大数据平台等进行分享。


110+ 名嘉宾、近 30 个精彩专题、8 种交流活动,QCon 北京 2023,相约 9 月!咨询购票请联系 18514549229(微信同手机号)。



2023-08-21 15:252299

评论

发布
暂无评论
发现更多内容

# LeetCode 215. Kth Largest Element in an Array

liu_liu

算法 LeetCode

情绪的力量:如何使用情绪来达成目标

董一凡

情绪

这是一个测试文档

Geek_073cad

patroni 通过服务启动报错

hobson

数据库 高可用 AntDB

原创 | 使用JUnit、AssertJ和Mockito编写单元测试和实践TDD (十三)编写测试-生命周期方法

编程道与术

Java 编程 TDD 单元测试 JUnit

互联网时代的界限管理

非著名程序员

程序员 职场 提升认知 界限管理

ARTS - Week Two

shepherd

js algorithm

知识也会生宝宝?

史方远

个人成长 随笔杂谈

开源分布式文件系统大检阅

焱融科技

开源 sds 存储 焱融科技 文件存储

每个人都是领导者的工程团队

hongfei

工程能力 项目实践

你不知道的SSD那些事

焱融科技

分布式 存储 SSD nvme

我常用的浏览器插件

彭宏豪95

chrome 效率工具 浏览器 插件

奈学:传授“带权重的负载均衡实现算法”独家设计思路

奈学教育

分布式

从 0 到 1 搭建技术中台之发布系统实践:集泳道、灰度、四端和多区域于一体的设计与权衡

伴鱼技术团队

架构 系统设计 系统架构 系统性思考 架构设计

一个人,沿着童年的路究竟可以走多远?

zhoo299

童年 NASA 航天

Go语言分布式系统配置治理

田晓亮

微服务

Vue生态篇(二)

shirley

Vue

杂谈-JSONP探索

卡尔

Java jsonp

【Java 25周年有奖征文获奖名单公布!!!】关于Java,你最想赞扬、吐槽、期待的变化是什么?

InfoQ写作社区官方

写作平台 Java25周年 热门活动

程序员修炼的务实哲学

博文视点Broadview

程序员 软件 编程思维 工程师 编程之路

线程池续:你必须要知道的线程池submit()实现原理之FutureTask!

一枝花算不算浪漫

源码分析 并发编程

Vue生态篇(一)

shirley

Java Vue

# LeetCode 863. All Nodes Distance K in Binary Tree

liu_liu

算法 LeetCode

数据产品经理实战-数据门户搭建(上)

第519区

数据中台 开发数据

Python 自动化办公之"你还在手动操作“文件”或“文件夹”吗?"

JackTian

Python 自动化

Redis持久化了解一波!

不才陈某

redis 程序员 后端

ARTS 第二周打卡

陈文昕

我的 Windows 利器

玄兴梦影

工具 Win

我为什么开始技术写作?

架构精进之路

技术创作

美团可能会强势涉足 ToB

罗小布

创业 互联网巨头 深度思考 互联网

MySQL的各种日志

超超不会飞

MySQL

网易资深系统开发工程师陈静力确认出席QCon北京,分享Curve 文件系统在 AI 场景下的实践_AI&大模型_InfoQ精选文章