QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

万台集群性能优化方法——MaxCompute 性能优化实践

  • 2019-08-20
  • 本文字数:584 字

    阅读完需:约 2 分钟

万台集群性能优化方法——MaxCompute性能优化实践

QCon北京2018大会上,路璐讲师做了《万台集群性能优化方法——MaxCompute 性能优化实践》主题演讲,主要内容如下。


演讲简介


MaxCompute 是阿里巴巴自主研发的一站式大数据处理平台,承担着阿里巴巴集团 99%的存储和 95%的计算。


MaxCompute 平台机器规模达到十万级,数据规模达到 EB 级,每天有超过 300 万个作业在 MaxCompute 平台上运行。因此对 MaxCompute 平台进行性能优化是一项巨大的挑战,也关系到巨大的成本收益。


本次演讲将介绍 MaxCompute 如何通过一系列性能分析工具和数据分析方法诊断大规模集群的性能问题,并通过一些具体实例向大家介绍 MaxCompute 在性能优化方面的经验。


讲师介绍


路璐


阿里巴巴 计算平台事业部技术专家


路璐,阿里巴巴技术专家,目前主要专注 MaxCompute 性能优化,本科毕业于哈尔滨工业大学,研究生毕业于中国科技大学。


2010 年加入阿里巴巴 MaxCompute 的前身 ODPS 团队,见证了 MaxCompute 从跑通 hello world 到部署数万台机器规模、支撑起整个阿里巴巴大数据计算及公有云市场的整个过程。个人工作主要集中在 MaxCompute 的分布式计算、分布式存储、性能优化等领域,作为主要开发者完成 MaxCompute 第一代计算引擎。目前主要负责 MaxCompute 的软硬件性能优化,致力于将开源大数据平台、高性能基础库及新硬件的最新进展引入到 MaxCompute。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/beijing/schedule


2019-08-20 00:002791

评论

发布
暂无评论
发现更多内容

dart系列之:元世界pubspec.yaml文件详解

程序那些事

flutter dart 程序那些事 11月日更

盲盒一番赏APP开发源码搭建

Android C++系列:Linux文件IO操作(二)

轻口味

c++ android jni 11月日更

关于openGauss账本数据库:你想知道的这里都有

盲盒app开发盲盒小程序开发

盲盒app开发源码搭建小程序app

我就获取个时间,机器就down了

安第斯智能云

Linux 后端

盲盒app开发小程序源码定制

Ustore在openGauss闪亮登场,重构openGauss数据存储的灵魂

Hadoop实战篇-集群版(2)

进击的梦清

大数据 hadoop zookeeper

盲盒开发蛋趣芒趣一番赏源码搭建

CSS奇技淫巧之滤镜(二)drop-shadow

Augus

CSS 11月日更

“太白”团队加入OpenInfra Labs,联合社区成员共同完善多云管理技术

盲盒开发盲盒系统开发定制

这个无敌设计,可以解析并运算任意数学表达式

Tom弹架构

Java 架构 设计模式

ABAP 和 Java 的单元测试 Unit Test

汪子熙

Java abap 11月日更 JavaSAP

SOLID原则之 单一职责原则

面向对象的猫

SOLID

如何用EasyRecovery恢复中毒U盘中丢失的文件

淋雨

EasyRecovery

45岁程序员发求职贴:精通各种技术体系,却连个面试机会都没有…

Java高级开发

Java 程序员 面试 职场

盲盒开发盲盒小程序源码搭建app

盲盒开发盲盒源码搭建系统开发

使用 Node.js 消费SAP Cloud for Customer上的Web service

汪子熙

node.js SAP C4C 11月日更

987页的Java面试宝典,看完才发现,应届生求职也没那么难

热爱java的分享家

Java 架构 面试 程序人生 编程语言

Python代码阅读(第59篇):根据value查询字典key值

Felix

Python 编程 阅读代码 字典 Python初学者

从0到10彻底搞懂信息流【投放系统】

水泽山林

系统架构 推荐系统 智能投放 内容平台

解决文件存储难题 openGauss隆重推出段页式特性

华为云GaussDB NoSQL云原生多模数据库的超融合实践

华为云数据库小助手

GaussDB 华为云数据库 GaussDB NoSQL

自定义View:ViewGroup与View的事件传递

Changing Lin

11月日更

为何飞书成了先进企业的标配?

ToB行业头条

一网打尽!音乐高手都在使用的打谱软件不藏私推荐!

懒得勤快

AI界的革命!终于可以自动标注了!

百度开发者中心

AI 自动标注工具

万台集群性能优化方法——MaxCompute性能优化实践_QCon_路璐_InfoQ精选文章