写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002646

评论

发布
暂无评论
发现更多内容

打造中国优质奶源基地 筑牢高质量发展基石

科技新消息

GPU时代来临!

Finovy Cloud

人工智能 gpu GPU服务器

领域驱动设计入门与实践[下]

LigaAI

团队管理 DDD 领域驱动设计思想 LigaAI

每周更新 | Verilog测试用例及波形展示图功能上线

ShowMeBug

61%!产品+渠道创新 蒙牛冰淇淋业绩收录有史高增长

科技新消息

爆款国民冰淇淋原来是这样“凝冻”出来的

科技新消息

大数据培训程序员面试屡次碰壁怎么办

@零度

面试 大数据开发

国内20家优秀一线低代码平台推荐,经典收藏

J2PaaS低代码平台

低代码 开发工具 低代码平台 J2PaaS低代码

程序员不好招了吗,web前端培训应该怎么学习

@零度

前端开发

人工智能融合赋能平台,赋能智慧城市智能化升级

脑极体

PolarDB-X 正式发布2.1.0版本,Paxos 重磅开源

阿里云数据库开源

数据库 阿里云 开源 分布式 PolarDB-X

整机生产制造头部厂商雷神科技加入龙蜥社区

OpenAnolis小助手

Linux 开源 整机

天翼云分布式缓存服务(Redis)的几个核心概念

天翼云开发者社区

夯实领军者地位 奶酪业务协同发展领先赛道

科技新消息

实施知识管理过程中存在的问题(内附解决方案)

小炮

知识管理

压测做的不对,等于白做

基调听云

性能测试 压测 全链路压测

再论ORACLE上云通用技术方案

天翼云开发者社区

制造业企业数据平台建设最佳实践分享

华为云开发者联盟

数字化转型 数据平台 制造业 华为工业云平台 数据应用

把一整个生态圈藏进大沙漠 看蒙牛如何在每一滴奶中藏进玄机

科技新消息

易观分析:海外业务亮眼,研发+IP运营助力中手游持续增长

易观分析

IP 中手游

洞见科技荣获隐私计算新势力奖!创始人姚明出席华夏时报「2022智能数据论坛」

洞见科技

隐私计算 数据智能

蒙牛2021年报:数智化大脑为乳业插上腾飞翅膀

科技新消息

天翼云新一代V5云主机,Kvm之生,Xen之死!

天翼云开发者社区

墨天轮访谈 | 腾讯张铭:带你揭秘王者荣耀背后的游戏数据库 TcaplusDB

墨天轮

数据库 TcaplusDB 国产数据库

芝士就是力量!蒙牛2021年报笑出大大的CHEESE

科技新消息

java培训浅谈程序员怎么避免面试过程中碰壁

@零度

面试 JAVA开发

Linux 管道操作符详解

CRMEB

专属云资源包计算规格探秘

天翼云开发者社区

天翼云分布式缓存服务(Redis)的应用场景(干货)

天翼云开发者社区

【课程汇总】OpenHarmony全场景Demo数字管家系列课(附链接)

OpenHarmony开发者

OpenHarmony 数字管家

手绘模型图带你认识Kafka服务端网络模型

华为云开发者联盟

kafka 多线程 网络模型 Reactor多线程 Processor

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章