写点什么

百度技术沙龙第 2 期回顾:分布式与服务扩展(含演示文档下载)

  • 2010-05-19
  • 本文字数:1634 字

    阅读完需:约 5 分钟

在百度技术沙龙第 2 期(5 月 15 日)的活动上,我们邀请到了百度分布式高级工程师马如悦以及 FreeWheel 的核心系统技术总监王迪分别分享了关于分布式以及服务扩展两个话题,本文将对他们的演讲内容进行一下简单的总结,并为大家提供了演示文档的下载

为 Hadoop 的发展贡献自己的力量

在马如悦的演讲中,他主要介绍了百度的大规模数据存储、数据分析以及数据索引,主要包括以下内容点:

  • 大规模数据存储
    • Lustre 和 HDFS
    • 系统结构
    • HDFS 优势、不足
  • 大规模数据分析
    • MPI 和 MapReduce
    • MapReduce 概念模型、实现模型
    • MapReduce-Hadoop 实现
  • 大规模数据索引
    • MySQL 和 HBase 对比
    • HBase 详解
  • 在以上三方面百度遇到的问题、对策和原则

其中,马如悦提到,百度现在要处理的数据量非常庞大:存储 20PB+ 数据,每日新增数据 10TB+,每天处理的数据 1PB+,每天提交 10K+ 次作业。现在使用的文件系统是 HDFS,数据存储是 HBase,有超过 2K 台服务器节点,每个节点为 2*4 core。现在遇到的一个棘手问题便是 namenode 的瓶颈问题:因为要存储大量的(小)文件,使 namenode 的压力非常大,他们刚刚采购了 48GB 的内存,但是这 48GB 的内存,预计只能坚持到今年年底,到时候,可能会采购 96GB 的内存来紧急应对这个问题。所以百度在 namenode 的分布式方面,进行了很多研究。马如悦建议大家:

如果对这方面感兴趣的话,可以参考 Linux 2.6.34 中的 Ceph 文件系统,它就是一个基于 PB 规模的分布式文件系统。

最后,马如悦提到了百度目前正在重点研究 / 解决的几个问题 / 方向,他建议如果大家想对 Hadoop 做出一些成绩的话,这几个方向也是现在的热点:

  • HDFS namenode 的分布式改进
  • HDFS datanode 的读写异步化
  • MapReduce 的 jobtracker 的分布式改进
  • MapReduce 的新作业和任务调度器
  • MapReduce 的 Hadoop C++ 扩展框架

有读者对 Hadoop C++ 的扩展非常感兴趣,马如悦对此阐述了一下百度 Hadoop 的使用方式:

我们会定期在 Hadoop 的官方版本上找到一个稳定版本,然后进行自定义开发。过一段时间,当我们发现官方的版本如果增加了很多新增加的功能,比我们好很多,我们再开一个新的分支,把我们的功能移上去。我们的工程师在开发 Hadoop 的 C++ 扩展,我们大概是在 0.19 版分出来的,至今我们发现 chunk 版本仍然跑不过百度自己的版本,所以我们不会去做移植。HCE 在我们的版本上开发的,所以如果转移到 chunk 上,会有些难度,需要做一些调整,这会花费一些时间。上周我们工程师刚完成了一个版本,马上就可以为大家贡献出一个链接去试用。

以数据驱动为中心

王迪是 FreeWheel 核心系统的技术总监,从 07 年 FreeWheel 创立起,他全程参与到其广告核心系统的架构设计,也见证了 FreeWheel 从最初的的只有 20 台广告服务器、日均几十万的访问量、不到 1G/ 天的日志量,发展到现在拥有 60 台广告服务器、日均广告请求 5000 万次、日志处理服务器 8 台、日均 4 小时处理日志 200G 这么一个规模。3 年之间,流量增长 20 倍。他主要谈到了以下的一些经验和原则:

  • 应用服务扩展
    • 无状态应用服务
    • 复制与多层次 Cache
  • 数据仓库扩展
    • De-normalization/Pivot
    • Roll up/Data Availability
    • Benchmarking 与查询优化
    • Split-Loading/Sharding
  • 运营原则
    • 50% 运行负载上限 & N+1 Data Center
    • 监控和响应
    • 多阶段部署

很多具体的实践方法,都是针对他们具体的商业模式以及实际工作中摸索出来的,它不一定是“最好”的,但却是最适合的,比如对系统的负载当达到 50% 的时候,就是一个优化和扩容的信号了;再比如,以自动化回归测试为核心,但并未使用 TDD 单元测试,等等等等。

在提问环节,有读者对如何在回归测试中组织测试用例很感兴趣,王迪解释到:

比如我们有 700 个测试用例,需要 QA 做一些数据,可以用 SQL 文件的方式存在本地,然后把请求和预期也同样以文件的方式存在本地,然后在框架运行的时候,把它们载入到数据库当中,然后再服务结束后,再从数据库中取出来。

演讲资料下载

本次百度技术沙龙的演讲资料现在已经可以下载

相关内容

百度技术沙龙(第 1 期)活动总结演讲资料下载

2010-05-19 03:517300

评论

发布
暂无评论
发现更多内容

2024后量子区块链峰会:连接Web3、安全与后量子密码学的未来

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 NFT开发 公链开发

通过Forcebot压测实践简述“并发模式”与“RPS模式”两种模式的区别

京东科技开发者

AI 大模型应用开发实战营总结

Kevin

AI大模型 openai 向量数据库 LLM langchain

释放无限潜力:Databend 存算分离架构如何让企业数据管理焕然一新?

Databend

存算分离架构

第三届OpenHarmony技术大会OS内核及视窗分论坛圆满举办

科技热闻

5分钟了解软件开发的20项基本原则

俞凡

架构 最佳实践

一站实现高效开发,鸿蒙生态伙伴模板&组件专区全新上线

最新动态

DeFi复兴:让DeFi再次伟大

区块链软件开发推广运营

交易所开发 dapp开发 链游开发 NFT开发 公链开发

中国3-6岁儿童人群需求与行为洞察

易观分析

软件测试学习笔记丨接口自动化框架

测试人

软件测试

从混乱到可控:非结构化数据在远程监造中的作用

奇点云

人工智能 软件 IT 制造业

HarmonyOS NEXT开发之ArkTS自定义组件学习笔记

威哥爱编程

HarmonyOS ArkTS HarmonyOS框架 HarmonyOS NEXT

淘天集团5篇论文入选NeurIPS,阿里妈妈自动出价比赛决赛白热化

新消费日报

文献解读-Chromosome-Level Genome Assembly of the Green Peafowl (Pavo muticus)

INSVAST

基因数据分析 生信服务

低代码开发助力中小企业数字化转型难度持续降低

EquatorCoco

低代码

测试聊并发-入门篇

京东科技开发者

面试官:go中的singleflight是如何实现的?

王中阳Go

Go 后端 面试问题

约80%开发效率提升,原生鸿蒙政务、文旅行业样板间专区上线

最新动态

三亚等保测评公司有哪些?在哪里?

行云管家

等保 等级保护 三亚

90后程序员的职业成长漫谈

京东科技开发者

CST电磁仿真技术:引领时代发展的前沿

思茂信息

电磁 仿真 cst

阿里巴巴中国站商品详情API返回值的未来发展趋势

技术冰糖葫芦

API 接口 API 文档 API 测试 pinduoduo API

数据结构 - 队列

EquatorCoco

数据库 数据结构

GenAI 时代的软件架构和设计:机遇、挑战和未来

俞凡

人工智能 架构

第70期 | GPTSecurity周报

云起无垠

BlockCoin部署进展公示

科技热闻

融合大模型技术,激发开发新动力,IDE分论坛成功举办

科技热闻

LED会议屏:提升会议体验的利器

Dylan

科技 LED display LED显示屏 技术 优化体系

运维黑匣子作用是什么?堡垒机是运维黑匣子吗?

行云管家

运维 堡垒机 黑匣子

某市驾驶培训监管服务平台 GreatSQL 数据库适配之旅

GreatSQL

2025北京智能科技产业博览会(世亚智博会)

AIOTE智博会

智博会 世亚智博会 智能科技展 智能科技博览会

百度技术沙龙第2期回顾:分布式与服务扩展(含演示文档下载)_架构_刘申_InfoQ精选文章