在ArchSummit北京2018大会上,任春德、杨巍威讲师做了《Apache Hadoop YARN: State of the Union》主题演讲,主要内容如下。
演讲简介:
Apache Hadoop YARN 作为 Hadoop 生态系统中的资源调度系统,承载着丰富的大数据应用和计算,正在逐步演变为服务于大数据的底层 Operation System。为了应对大数据生态圈的多样性、异构性以及复杂性,通过对各类计算模型、新的资源类型的支持,YARN 正向着一个通用、高效、可扩展、支持多租户的资源管理和调度平台蓬勃发展。
在这个演讲中,我们将分享 YARN 的最新特性,并延伸到如何使用 YARN 架构新一代计算平台。我们会介绍 YARN 如何无缝的支持各类机器学习和深度学习框架,怎样结合多租户、资源隔离以及资源共享的特性,安全而高效的在同一个平台上运行各类计算任务。我们也会分享 YARN 的容器化的最新进展,包括对服务类型任务更全面的支持,以及基于 Docker conainer 的网络和存储的优化。我们会结合行业的一些案例,介绍一些典型的应用场景以加深对这些技术的理解。
演讲提纲:
Apache Hadoop YARN 最新进展
基于 YARN 的基础计算架构
行业实战分享
总结和展望
听众受益点:
Apache Hadoop YARN 社区的最新发展状态
YARN 原生对于 Service、Machine Learning 和 Deep Learning 的支持
YARN 新的调度特性
讲师介绍:
任春德
阿里巴巴 高级技术专家
2006 年毕业加入阿里集团,长期从事 Hadoop 相关的大数据计算平台研发,目前在计算平台事业部担任高级技术专家,负责 YARN 和 Flink 资源调度的研发。
杨巍威
Hortonworks YARN/Staff Engineer
本科就读于武汉大学,硕士毕业于北京大学,先后就职于 IBM,阿里巴巴和 Hortonworks。一直专注于基于 Hadoop 的基础数据平台的搭建以及研发,活跃的 Apache Hadoop committer & PMC,在 HDFS 和 YARN 项目上都有很多贡献。参与了 HDFS Ozone, YARN 调度器资源超卖,YARN 富约束条件等特性的开发,有上万台 Hadoop 集群开发和管理的经验。目前任职于 Hortonworks,专注于 YARN 的研发和生态发展。
完整演讲 PPT 下载链接:
https://archsummit.infoq.cn/2018/beijing/schedule
评论