发布了 82 篇内容
共 27.8字， 被阅读 7734次
获得了 118 次赞同
获得了 27次喜欢， 获得了 91 次收藏
参与了 49 次互动
互动包含发布评论、点赞评论、参与投票等
yarn 的 applicationMaster 介绍
ApplicationMaster 实际上是特定计算框架的一个实例，每种计算框架都有自己独特的 ApplicationMaster，负责与 ResourceManager 协商资源，并和 NodeManager 协同来执行和监控 Container。MapReduce 只是可以运行在 YARN 上一种计算框架。
hadoop 1.0 和 hadoop 2.0 的区别
Hadoop1.0 即第一代 Hadoop，由分布式存储系统 HDFS 和分布式计算框架 MapReduce 组成，其中 HDFS 由一个 NameNode 和多个 DateNode 组成，MapReduce 由一个 JobTracker 和多个 TaskTracker 组成。
yarn 的基本介绍和产生背景
YARN 是 Hadoop2 引入的通用的资源管理和任务调度的平台，可以在 YARN 上运行 MapReduce、Tez、Spark 等多种计算框架，只要计算框架实现了 YARN 所定义的接口，都可以运行在这套通用的 Hadoop 资源管理和任务调度平台上。
hdfs 的集群间拷贝、归档、回收站等功能剖析
在我们实际工作当中，极有可能会遇到将测试集群的数据拷贝到生产环境集群，或者将生产环境集群的数据拷贝到测试集群，那么就需要我们在多个集群之间进行数据的远程拷贝，hadoop 自带也有命令可以帮我们实现这个功能
hdfs 中 datanode 工作机制以及数据存储
1）一个数据块在 datanode 上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
hdfs namenode 的故障恢复
在我们的 secondaryNamenode 对 namenode 当中的 fsimage 和 edits 进行合并的时候，每次都会先将 namenode 的 fsimage 与 edits 文件拷贝一份过来，所以 fsimage 与 edits 文件在 secondarNamendoe 当中也会保存有一份，如果 namenode 的 fsimage 与 edits 文件损坏，那么我们可以将
HDFS NameNode 中的 FSImage 与 edits 详解
所有的元数据信息都保存在了 FsImage 与 Eidts 文件当中，这两个文件就记录了所有的数据的元数据信息，元数据信息的保存目录配置在了 hdfs-site.xml 当中
hdfs 中抽象为 block 块的好处
hdfs 将所有的文件全部抽象成为 block 块来进行存储，不管文件大小，全部一视同仁都是以 block 块的统一大小和形式进行存储，方便我们的分布式文件系统对文件的管理
最新评论
软件 IT 专业的高校大学生创新创业问卷调查
通俗易懂数仓建模—Inmon 范式建模与 Kimball 维度建模
通俗易懂数仓建模—Inmon 范式建模与 Kimball 维度建模
通俗易懂数仓建模—Inmon 范式建模与 Kimball 维度建模
通俗易懂数仓建模—Inmon 范式建模与 Kimball 维度建模