写点什么

20 个大数据必知领域之「HDFS」

  • 2020-05-29
  • 本文字数:462 字

    阅读完需:约 2 分钟

20个大数据必知领域之「HDFS」


Hadoop 分布式文件系统(HDFS)是指被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统(Distributed File System)。它和现有的分布式文件系统有很多共同点。但同时,它和其他的分布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统,适合部署在廉价的机器上。HDFS 能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS 放宽了一部分 POSIX 约束,来实现流式读取文件系统数据的目的。HDFS 在最开始是作为 Apache Nutch 搜索引擎项目的基础架构而开发的。HDFS 是 Apache Hadoop Core 项目的一部分。


HDFS 有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS 放宽了(relax)POSIX 的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

一线实践案例


2020-05-29 11:001005

评论

发布
暂无评论
发现更多内容

Python 中的数字到底是什么?

Python猫

Python 翻译 PEP

北京首台区块链政务终端亮相 一键“拉取”链上数据

CECBC

区块链技术

Flink保存点-17

小知识点

scala 大数据 flink

学习笔记丨结构体中的内存管理

Liuchengz.

c Linux 学习

数字货币钱包软件开发方案,区块链数字货币钱包源码

13530558032

缓存与数据库一致性问题深度剖析

Zhendong

数据库 缓存 秒杀系统

dubbo应用级服务发现初体验

捉虫大师

dubbo 注册中心

凤凰交易所 全球首个多元化生态交易平台震撼来袭

InfoQ_967a83c6d0d7

区块链usdt承兑商支付系统开发 区块链应用开发

电微13828808271

USDT承兑支付系统开发

有奖征文火热开赛,万元大奖等你来拿,准备好了吗?

InfoQ写作社区官方

程序员 开发者 音视频 随笔杂谈 RTC征文大赛

区块链+公共安全 大有可为

CECBC

区块链 安全

经济适用的企业内外网互动直播方案

fumingwang

音视频 直播 视频会议 企业应用

深度解读:Apache DolphinScheduler 新架构与特性,性能提升2~3倍

代立冬

大数据 开源 工作流调度 开源社区

全场景智慧:新工业革命必须拥抱的晨曦

脑极体

芯片破壁者(十五):仙童半导体和“八叛逆”所缔造的“硅谷模式”

脑极体

区块链数字货币交易所开发,数字交易平台搭建

13530558032

Centos7 mongodb安装全攻略

红泥

mongodb

在5G智慧园区的“保龄球道”上,目标全垒打的征途

脑极体

LeetCode题解:239. 滑动窗口最大值,双循环暴力,JavaScript,详细注释

Lee Chen

大前端 LeetCode

iWebExcel 协同数据填报和在线分析平台

葡萄城技术团队

SpreadJS

LeetCode题解:84. 柱状图中最大的矩形,循环+双指针暴力,JavaScript,详细注释

Lee Chen

大前端 LeetCode

Apache Pulsar 8 月月报:里程碑一个接一个

Apache Pulsar

大数据 云原生 Apache Pulsar 消息系统 消息中间件

从每秒6000写请求谈起

架构师修行之路

程序员 架构师 高并发系统设计

企业表格技术与风险指标补录系统

葡萄城技术团队

SpreadJS

合约跟单系统开发,合约跟单软件定制开发

13530558032

ARTS Week10

丽子

Docker 搭建 Redis Cluster 集群环境

哈喽沃德先生

redis Docker 容器 集群 redis cluster

实战中学习浏览器工作原理 — 之 HTTP 请求与解析

三钻

CSS Java 大前端 浏览器

区块链支付系统开发,数字货币支付承兑商APP模式搭建

13530558032

macos主流工作开发套件指南

久违

macos Docker 大前端 自动化部署

oeasy教您玩转linux010204-figlet

o

20个大数据必知领域之「HDFS」_大数据_闫佳忆_InfoQ精选文章