写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002765

评论

发布
暂无评论
发现更多内容

2023-12-13:用go语言,密码是一串长度为n的小写字母,一则关于密码的线索纸条, 首先将字母a到z编号为0到25编号, 纸条上共有n个整数ai,其中a1表示密码里第一个字母的编号, 若i>1的

福大大架构师每日一题

福大大架构师每日一题

深入了解埋点分析:Clklog助你优化用户体验

ClkLog

【写作训练营打卡|07】你知道文章的配图哪来的吗?

极狐GitLab 镜像仓库使用技巧

极狐GitLab

DevOps gitlab 镜像 CI/CD 镜像仓库

Apache IoTDB PMC Chair 黄向东主办 2023 开放原子开发者大会开源工业物联网大数据分论坛,诚邀您的参加!

Apache IoTDB

多链铭文聚合协议20Exchange将为Ordi、SATS持仓用户快照空投

股市老人

技术写作及技术作者的概述和重要性 - 了解技术写

小万哥

技术 程序人生 写作 软件开发 作者

让艺术触手可及!3DCAT实时云渲染赋能真浪数字艺术馆首展

3DCAT实时渲染

实时云渲染 元宇宙解决方案

高校刮起元宇宙风!3DCAT实时云渲染助力川轻化元校园建设

3DCAT实时渲染

实时云渲染 元宇宙解决方案

想突破转化瓶颈?安排上 AI ,比漏斗图更高效、更实用!

Kyligence

数据分析 转化分析

物联网与低代码:构建智能化的连接世界

快乐非自愿限量之名

低代码 物联网 IoT

第31期 | GPTSecurity周报

云起无垠

群晖(Synology)新建存储池使用 Home 服务

HoneyMoose

一起学Elasticsearch系列-搜索推荐

Java随想录

Java 大数据 elastic 搜索

从Rustup出发看Rust语言的编译生态

程序饲养员

编译器 rust语言

实时数据推送应用

玄兴梦影

消息推送 实时数据

内置功率 MOSFET 的高频同步整流降压开关变换器

芯动大师

天谋科技荣获国家高新技术企业认证

Apache IoTDB

重磅发布!!!蚂蚁图团队开源高性能原生图存储系统CStore

TuGraphAnalytics

数据库 分布式 图计算 图存储 图原生

Kyligence 荣登甲子光年 2023 AIGC 技术应用领域最具商业潜力榜

Kyligence

数据分析 智能决策

马斯克回应聊天机器人 Grok 抄 ChatGPT 作业;Figma 推出宏编程键盘丨 RTE 开发者日报 Vol.105

声网

法语 Alt 代码表

HoneyMoose

德语 Alt 代码表

HoneyMoose

1.5万字 + 25张图盘点RocketMQ 11种消息类型,你知道几种?

快乐非自愿限量之名

RocketMQ 事务管理

Trace 在多线程异步体系下传递

观测云

Trace 链路

场场爆满的昇腾 AI 开发者创享日:照见产业数智化的涓涓动力

Alter

大模型助力科技革命:2023年的里程碑与大模型的未来展望

屿小夏

年度总结 大模型

大模型扫盲问题集

小判

大模型

Caché/M 数据库上面的那个 é 怎么打

HoneyMoose

下一站 Gen AI 城市巡展指南来了!“码”上出发,Let's 构!

亚马逊云科技 (Amazon Web Services)

AIGC

西班牙语 Alt 代码表

HoneyMoose

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章