写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002669

评论

发布
暂无评论
发现更多内容

“转型·破局” 看数字化会员如何重塑企业竞争力

科技热闻

想开一家24小时的自助洗车店要多少钱

共享电单车厂家

自助洗车机多少钱 24小时自助洗车店 开自助洗车店多少钱

首届物联网数据基础设施案例大赛结果出炉,与 EMQ 和英特尔共同见证物联网的无限可能

EMQ映云科技

物联网 IoT intel emq

模块二作业

Dean.Zhang

架构实战营

易周金融观点 | 数字人民币试点扩大带动增量场景需求

易观分析

金融 数字化人民币

如何设计帮助中心才能真正地帮助客户解决问题?

小炮

帮助中心

Docker 实战教程之从入门到提高(一)

汪子熙

Docker Kubernetes 容器 镜像 4月月更

小波从此逝,江海寄余生,不但是文坛巨擘还是不世出的编程奇才,王小波离世25周年

刘悦的技术博客

编码习惯 编码 代码 编程、 编码规范

SAE 联合乘云至达与谱尼测试携手共同抗疫

阿里巴巴云原生

自助洗车设备全套多少钱?有了解的吗

共享电单车厂家

自助洗车机价格 自助洗车加盟 自助洗车设备多少钱

恒源云(Gpushare)_FAIR CVPR2022新作DVT是个啥?

恒源云

深度学习 CV transform

远程代码执行漏洞复现分析

网络安全学海

网络安全 信息安全 渗透测试 WEB安全 漏洞挖掘

2022春季校园招聘·复旦站,即将开启~

非凸科技

AliPLC 智能丢包补偿算法,提升弱网环境的通话质量

阿里云视频云

音视频 音频 视频云 音频算法 丢包补偿

无人自助洗车机多少钱一台?不是自动

共享电单车厂家

自助洗车机多少钱 自助洗车加盟 无人自助洗车机

6元自助洗车怎么样?想加盟自助洗车

共享电单车厂家

自助洗车加盟 6元自助洗车 自助洗车怎么样

我们两周岁啦!InfoQ写作平台正式升级为InfoQ写作社区

InfoQ写作社区官方

热门活动 InfoQ写作社区2周年

Reactor实现http服务器,附完整代码

Linux服务器开发

后台开发 reactor HTTP Linux服务器开发 服务端开发

数字人民币试点扩大,市场化问题如何解决?

CECBC

解读谷歌 Pathways 架构(二):向前一步是 OneFlow

OneFlow

人工智能 机器学习 深度学习 深度学习框架 谷歌

FAQ是什么?如何高效地创建一个好的FAQ页面?

小炮

FAQ

在Linux环境下安装SQLserver2017

春风十里

数据库 Linux SqlServer

云效多云视角团队协作方式,让团队协作更高效

阿里云云效

阿里云 项目管理 运维 研发管理 团队协作

华为与OpenInfra基金会十年共筑开源基础设施平台

科技热闻

在Rainbond上部署高可用Apollo集群

北京好雨科技有限公司

为什么要选择Web3?它有什么好处?

CECBC

等了15年,这本豆瓣评分高达9.3的编程巨著终于出版了!

图灵教育

云原生虚拟化的最佳拍档:Kube-OVN + KubeVirt 【附有奖调研】

York

Kubernetes 云原生 网络性能 云原生网络 网络虚拟化

如何通过Password Vault的XSS漏洞窃取用户密码信息

喀拉峻

网络安全 XSS

24小时无人洗车加盟!就自助洗车加盟

共享电单车厂家

自助洗车机多少钱 自助洗车加盟 24小时无人洗车加盟

为什么领导不喜欢提拔老实人?

方云AI研发绩效

团队管理 研发管理 数字化转型 职场 PUA 职场发展

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章