抖音技术能力大揭密!钜惠大礼、深度体验,尽在火山引擎增长沙龙,就等你来! 立即报名>> 了解详情
写点什么

美团点评常态、异地、多机房、单集群 Hadoop 架构实践

2019 年 8 月 11 日

美团点评常态、异地、多机房、单集群 Hadoop 架构实践

QCon北京2019大会上,刘俊宏讲师做了《美团点评常态、异地、多机房、单集群 Hadoop 架构实践》主题演讲,主要内容如下。


演讲简介


随着美团点评以吃为核心的多场景业务的飞速发展, 美团点评的 Hadoop 集群规模持续每年翻番, 2017 年 Hadoop 集群规模突破万台,超出单机房容量上限, 势必要提供多机房的 Hadoop 服务。


现有 Hadoop 架构没有机房概念,在多机房部署 Hadoop 服务时,会导致大量的跨机房流量和请求严重降低集群吞吐。业内在解决 Hadoop 多机房部署问题时,往往采用一个机房一套集群的运维方式,但这会使机房概念最大程度的暴露到数据生产层面,提高了数据开发成本。


在此背景下, 美团点评离线团队秉持以业务为中心的价值导向, 通过技术换运营,自主研发了对业务提供透明的、数据强一致性保障的、常态、异地域、多机房、单集群 Hadoop 服务。


目前, 美团点评 Hadoop 集群规模数万台,是业界唯一一家提供常态、异地域、多机房、单集群 Hadoop 服务的科技企业。此次分享整个方案设计和落地,给业界同行在面临同样场景时以参考。


听众受益

  • 直面开源 Hadoop 在多机房部署场景下的架构困境;

  • 了解美团点评的大数据业务数据访问模式;

  • 分享美团点评对业务透明的, 数据强一致性保障的, 常态、异地域、多机房、单集群 Hadoop 架构, 及异地 5 机房提供 Hadoop 服务的实践经验;

  • 收获在面临同样场景时的业界最佳实践。


讲师介绍


刘俊宏


美团点评 大数据技术专家


美团点评离线存储团队技术专家,2013 年毕业于哈尔滨工程大学,2015 年加入美团,负责美团点评 HDFS、HBase 服务,先后深度参与了 HDFS Federation 兼容性改造和落地,美团点评数据平台融合,常态、异地、单集群、多机房 Hadoop 架构改造,HDFS NameNode 锁粒度拆分,增量数据生产架构演进等重点项目。在 HDFS、HBase 方面有大量的源码和架构实践经验,致力于为美团点评提供稳定、高效、易用的大数据存储服务。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2019/beijing/schedule


2019 年 8 月 11 日 00:006309

评论

发布
暂无评论
发现更多内容

架构师训练营第七周作业-性能测试

sunnywhy

数据产品经理必备技能大纲

Jackchang234987

产品 产品经理 数据

一文读懂数据库中的乐观锁和悲观锁和MVCC

X先生

数据库 乐观锁 悲观锁 并发控制

官宣了,英特尔并非断供浪潮而是属于内部供应链调整

Geek_116789

创建有效DevOps测试策略的5大技巧

禅道项目管理

DevOps 测试 云安全

Spring Cloud微服务技术栈:搭建高可用Eureka Server、服务注册与发现

itlemon

Spring Cloud

JVM 对象内存布局

Alex🐒

JVM 深入理解JVM

深入 Java Web 技术内幕(二)浅析DNS域名解析过程

itlemon

DNS 域名解析

人民自己创造的节日 | 经济

chaozh

每个现代人都应该知道的包豪斯| 艺术

chaozh

深入理解 JS 参数传递

Mozisu

Java 前端

架构师训练营第7周作业

时来运转

深入理解 JS 中的 this

Mozisu

Java 前端

优雅地利用c++编程从1乘到20 | 技术总结

chaozh

c++

第7周性能优化

Combine中@Published浅析

kingnight_pig

swift Combine Publisher

创世 | 中国古神话

chaozh

神话

腾讯的背水一战还是奋力一搏? | 互联网

chaozh

深入Java Web技术内幕(一)浅析Web请求过程

itlemon

Java

程序员面试必备战衣 | T恤衫 - 程序员穿搭

chaozh

GEEK

深入理解 JS 中的变量提升

Mozisu

Java 前端

女娲造物与补天 | 中国古神话

chaozh

如何挑选编程笔记本 | 数码产品

chaozh

Phobos新变种藏身系统激活工具再掀勒索风暴,360安全大脑强力“截杀”

360安全卫士

极客时间架构师训练营week7作业

好名字

极客大学架构师训练营 作业

放下纠结,你就远离了拖延症

霍太稳@极客邦科技

创业 个人成长 企业管理

彻底弄懂C++11右值引用 | 技术总结

chaozh

c++

架构师训练营第7周总结

时来运转

JVM 类加载机制

Alex🐒

JVM 深入理解JVM

神国统治者 | 中国古神话

chaozh

Presto性能调优的五大技巧

华为云开发者社区

大数据 数据 内存 存储 华为云

Study Go: From Zero to Hero

Study Go: From Zero to Hero

美团点评常态、异地、多机房、单集群 Hadoop 架构实践-InfoQ