AICon 上海站|90%日程已就绪,解锁Al未来! 了解详情
写点什么

Hadoop 之 HDFS 简介

  • 2019-11-14
  • 本文字数:2925 字

    阅读完需:约 10 分钟

Hadoop之HDFS简介

HDFS 作为运行在通用硬件上的分布式文件系统,和现有的分布式文件系统既有很多的共同点,也存在很多的差异。本文从 HDFS 是什么开始介绍,包括了 HDFS 架构、HDFS 的读写、各个组件的作用、具体操作以及优缺点。给出了 HDFS 在分布式存储上的具体方案,可以使读者快速、清晰的理解 HDFS 系统。

1 主要内容

1.HDFS 是什么?是干什么用的?


2.HDFS 的架构是怎么样的?


3.HDFS 的怎样进行读写?副本怎样放置?


4.HDFS 各个组件的作用?


5.HDFS 的文件操作命令有哪些?


6.HDFS 的优缺点是什么?

2 引言

有这样一个需求:


由于公司某业务 mysql 服务器过保,为防止数据丢失,需要备份 mysql 数据库,这些库目前已经只读,每个库约 1.5T,大概有 130 个库,共需要 200T 左右的空间,并且希望数据不易丢失,恢复数据速度快。


部分解决方案:


1)单机存储



有如下问题:


1.磁盘损坏或机器 down 机则无法下载;


2.单块磁盘的读写 io 会很高;


3.单块磁盘不能完整存储 3 个完整的库(存储大文件),只能存储 2 个,空间部分浪费;


4.平时如果不用做数据恢复,机器 cpu、内存等利用率低。


2)分布式存储


可选用分布式存储,如 HDFS、CEPH、S3 等等。

3 HDFS 是什么?是干什么用的?

HDFS(Hadoop Distributed File System)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


首先来看看 Hadoop 架构,HDFS 为 Hadoop 其他组件提供存储支持。



直观对比 Linux 文件系统和 HDFS 文件系统(执行 ls 命令)。


Linux:


#ls -l-rw-r--r-- 1 root root          20 Jul 29 14:31 ms-server-download-zzzc_88888.idx-rw-r--r-- 1 root root          8   Jul 29 14:31 ms-server-download-zzzc_88888.dat
复制代码


HDFS:


#hadoop fs -ls /tmp/-rw-r--r--   2 xitong supergroup   181335139 2019-07-17 23:00 /tmp/java.tar.gz-rw-r--r--   2 xitong supergroup   181335139 2019-07-17 23:00 /tmp/jdk.tar.gz
复制代码


可以看出 HDFS 和 Linux 文件系统很类似,都是有权限、文件所属用户、用户所在的组、文件名称等,但是也有不同:HDFS 中的第 2 列表示副本数。

4 HDFS 的架构是怎么样的?

HDFS 架构如下:



1.Client:客户端。


2.NameNode:master,它是一个主管、管理者,存储元数据,存储元数据格式会在后面介绍。


3.DataNode:slave,NameNode 下达命令,DataNode 执行操作并存储实际数据。


4.SecondaryNameNode:和 NameNode 不是主备关系。当 NameNode 挂掉的时候,它并不能马上替换 NameNode 提供服务。主要作用会在后面介绍。

5 HDFS 怎样进行读写

写文件


1.客户端调用 create 方法,创建一个新的文件;NameNode 会做各种校验,比如文件是否已经存在,客户端是否有权限等。


2.如果校验通过,客户端开始写数据到 DN(DataNode),文件会按照 block 大小进行切块,默认 128M(可配置),DataNode 构成 pipeline 管道,client 端向输出流对象中写数据,传输的时候是以比 block 更小的 packet 为单位进行传输,packet 又可拆分为多个 chunk,每个 chunk 都携带校验信息。


3.每个 DataNode 写完一个块后,才会返回确认信息,并不是每个 packet 写成功就返回一次确认。


4.写完数据,关闭文件。

读文件


1.客户端调用 open 方法,打开一个文件。


2.获取 block 的 location,即 block 所在的 DN,NN(NameNode)会根据拓扑结构返回距离客户端最近的 DN。


3.客户端直接访问 DN 读取 block 数据并计算校验和,整个数据流不经过 NN。


4.读取完一个 block 会读取下一个 block。


5.所有 block 读取完成,关闭文件。

副本放置


以经典的 3 副本为例(黄色方框表示客户端,绿色表示要写的 block),Hadoop 早期版本采用左边的放置策略,后期版本采用右边的放置策略放置副本。


图左:


  • 副本 1:同机架的不同节点。

  • 副本 2:同机架的另一个节点。

  • 副本 3:不同机架的另一个节点。

  • 如果还有其他副本:随机。


图右:


  • 副本 1:同 Client 的节点。

  • 副本 2:不同机架的节点。

  • 副本 3:同第 2 副本相同机架的不同节点。

  • 如果还有其他副本:随机。


两种策略的故障域都为机架,新版相对于旧版本,当本客户端再次读取新写的数据时,直接从本地读取,这样延迟最小,读取速度最快。

6 HDFS 各个组件的作用?

先大致看下启动流程:



1.启动 NameNode,读取 FsImage 元数据镜像文件,加载到内存中;读取 EditLog 日志文件,加载到内存中,使当前内存中元数据信息与上次关闭系统时保持一致。


2.启动 DataNode,向 NameNode 注册,并向 NameNode 发送 BlockReport。


3.退出安全模式后,Client 可以对 HDFS 进行目录创建、文件上传等操作,改动的目录结构会记录在 EditLog 中,NameNode 的内存中的目录结构也会改变。

NameNode

1.管理 HDFS 的命名空间。


2.管理数据块(Block)映射信息。


3.配置副本策略。


4.处理客户端读写请求。


Fsimage 是一个二进制文件,格式如下:



FsImage 文件第 1 行为 image head,里面包含 image 的版本、文件和目录的个数等;第 2 行为一个目录格式(如果是目录,就是这种格式),包含了目录的路径、副本数、权限等,目录的 blocksize 都为 0;第 3 行为一个文件格式(如果是文件,则在 FsImage 存储的格式),文件和目录格式包含的字段差不多,多了 block 信息;通过加载此文件和 EditLog 日志文件来构建整个文件系统的目录结构。


通过观察 FsImage 文件,里面并没有 block 和 DN 的对应关系,它是如何查到块所对应的 DN 的呢?


block 和 DN 的对应关系并没有实际持久化,而是通过 DN 向 NN(NameNode)汇报,此过程为 BlockReport。通过 blockReport 构建 BlocksMap 的结构如下:



在 blockInfo 中保存了 block 所在的 DN 信息。

SecondaryNameNode

和 NameNode 并非主备关系,而是辅助 NN 进行合并 FsImage 和 EditLog 并起到备份作用。


7 HDFS 文件操作命令有哪些?

和 Linux 操作文件类似,只列出常见几个,和 Linux 命令的功能也是类似的,如:cp 即拷贝,rm 即删除等等。


#hadoop fs [cat|chgrp|chmod|chown|count|cp|df|get|ls|put|mv|rm|mkdir|tail]
复制代码


在 HDFS 中,提供了 fsck 命令,用于检查 HDFS 上文件和目录的健康状态、获取文件的 block 块信息和位置信息等。


#hdfs fsck [move|delete|files|blocks|locations|racks|blockId]
复制代码

8 HDFS 的优缺点是什么?

最后根据以上内容总结 HDFS 优缺点如下:


优点:


  • 支持海量数据的存储。

  • 检测和快速应对硬件故障。

  • 流式数据访问。

  • 简化的一致性模型。

  • 高容错性。

  • 商用硬件。


缺点:


  • 不能做到低延迟数据访问。

  • 不适合大量的小文件存储。

  • 不支持修改文件(HDFS2.x 开始支持给文件追加内容)。

  • 不支持用户的并行写。


hadoop2.x 新特性 引入了 NameNode Federation,解决了横向内存扩展;引入了 Namenode HA,解决了 namenode 单点故障。


本文转载自公众号 360 云计算(ID:hulktalk)。


原文链接:


https://mp.weixin.qq.com/s/s-kOquVbIuJAMSQqkfmaAA


2019-11-14 17:284838

评论

发布
暂无评论
发现更多内容

如何规避开源安全漏洞风险?新思科技OSSRA报告给出建议

BeeWorks

SAP Marketing Cloud 功能概述(一)

汪子熙

云原生 SaaS SAP 6月月更 Marketing Cloud

2022年深圳美博会-2022年深圳国际美博会

Geek_0b38bb

美博会 2022年深圳美博会 2022年深圳国际美博会 深圳美博会

Volcano社区v1.6.0版本正式发布

华为云开发者联盟

云计算 云原生 后端

2022年广州美博会-2022第60届广州国际美博会

Geek_0b38bb

2022年广州美博会 秋季广州美博会 美博会 第60届广州美博会

父亲节,这份孩子科学上网秘籍助你“爸”气全开

最新动态

Flink框架中的时间语义和Watermark(数据标记)

百思不得小赵

大数据 flink 6月月更

大数据培训Flink 流怎么来处理 API

@零度

flink 大数据开发

洞见科技助力华夏银行「隐私计算数据安全平台」建设,赋能金融业务提质增效

洞见科技

金融科技 隐私计算

NodeJS 5分钟 连接 Redis 读写操作 👑

德育处主任

redis Node 6月月更

Wallys/DR-AP6018-S-OUTDOOR/ IPQ6010/high power Radio AP

wallys-wifi6

IPQ4019 ipq6018

征文投稿丨基于轻量应用服务器+OSS的中小型应用运维实践

阿里云弹性计算

运维 OSS CI/CD 轻量应用

时序数据是如何被压缩的?具体有哪些可选择的压缩算法?

TDengine

数据库 tdengine 时序数据库

ABAP-调用WebService服务

桥下本有油菜花

abap

大数据系统包含哪些组件?需要过等保吗?

行云管家

大数据 数据 过等保

【Python技能树共建】常用标准库

梦想橡皮擦

Python 6月月更

云渲染技术的“公”“私”

Finovy Cloud

服务器 云渲染 元宇宙 渲染器

「势说新语」SBOM在企业软件供应链管理中的重要性—安全漏洞篇

安势信息

开源 漏洞 开源软件供应链 软件物料清单 SBOM

龙蜥社区成立云原生 SIG,引入 3 大核心技术,共建云原生生态

OpenAnolis小助手

开源 技术 云原生 龙蜥社区 sig

软件开发外包的优势,哪些企业适合软件开发外包?

开源直播系统源码

软件开发 直播带货 直播带货源码 视频带货

大数据培训Flink 中的 Window理解与分析

@零度

flink 大数据开发

华为云发布ModelBox AI应用开发框架

华为云开发者联盟

人工智能 华为云

2022年秋季广州美博会-2022年9月份广州美博会

Geek_0b38bb

2022年广州美博会 秋季广州美博会 9月份广州美博会 美博会

倒计时2日!基于 Apache DolphinScheduler&TiDB 的交叉开发实践,从编写到调度让你大幅提升效率

白鲸开源

Apache 大数据 开源 Apache DolphinScheduler

为什么不建议你用 MongoDB 这类产品替代时序数据库?

TDengine

数据库 tdengine 时序数据库

云堡垒机单机部署的优缺点讲解-行云管家

行云管家

网络安全 堡垒机 云堡垒机 堡垒机部署

im即时通讯的简介和趋势

BeeWorks

记录那些年 Nacos 的坑

Damon

6月月更

MySQL采用B+树作为索引的原因

龙空白白

索引结构 MySQL 数据库 索引原理

SAP Field Service Management 和微信集成的案例分享和实现介绍

汪子熙

云原生 SaaS SAP 6月月更 Marketing Cloud

5种在TypeScript中使用的类型保护

华为云开发者联盟

前端 变量 类型

Hadoop之HDFS简介_文化 & 方法_于桐_InfoQ精选文章