写点什么

Brisk——针对低延迟应用与 Hadoop/Hive 分析的统一大数据平台

  • 2011-03-27
  • 本文字数:1168 字

    阅读完需:约 4 分钟

两大主流 BigTable 开源实现之间的竞争—— HBase Cassandra 加速了 DataStax 推出其新产品,即 Brisk,一款基于 Cassandra 的 Hadoop 分布式实现。DataStax 产品副总裁 Ben Werther 谈到:

我们的想法是推出一款独一无二的平台,使其既能为“实时”web 范围应用提供低延迟数据库,又能利用 Hadoop 提供的各种各样丰富的数据分析功能。我们从业界所得知的一个需求是,他们需要一个完整的大数据视图,从实时低延迟应用贯穿到可用来进行数据分析的工具,以及使用这些工具把分析结果数据反馈回应用的能力。

Tim Estes,Digital Reasoing 的 CEO 对此做了进一步解释

通过把 Cassandra 的能力——包括其简易性、可伸缩性和快速读写性——结合到 Hadoop 上,DataStax 已经创建了一个能够加快从数据创建到数据分析速度的强大系统。我们可以借用部分 Cassandra 提供的独特功能来帮助那些存在多个数据中心并且需要处理大量复杂数据的项目。我们非常激动能够和 DataStax 小组合作,把这些功能介绍给一些对此有很高期望的用户——尤其是国防情报部门。

当 Cassandra 的缔造者——Facebook——因为 HBase 强大的一致性特点而开始为其社交邮件产品放弃Cassandra 转向HBase 时,DataStax 则选择了相反的一条道路,结合Cassandra 和Hadoop。 Ben Werther——DataStax 产品副总裁对此说到

HBase 成熟度没有 Cassandra 那么高,而且它构建在 HDFS(Hadoop 分布式文件系统)之上,在可伸缩性和可靠性方面会面临一些挑战……Cassandra 可以为 Hadoop 堆栈低级别部分的所有功能提供服务,而与此同时在同一基础设施中又能提供低延迟实时应用的功能。此外,Cassandra 的设计初衷就是可以让部分 Brisk 基础设施关注于数据分析,而另一部分处理低延迟应用。当你往 Hive 里写查询语句或者使用 Hive 进行优化时,你可以把它作为一个实时基础设施,即插即用。

Brisk 包括了 Hadoop MapReduce 和 Hive,使你可以跨多个商用硬件集群做特大数量的计算工作。但为了兼容 Cassandra 提供的存储层,需要对 Hadoop HDFS 文件系统进行切换。同时,你还是可以使用 Cassandra 本有的功能:为实时应用设计的数据库。也就是说,Brisk 不会消除一些 Hadoop 中的单点失效。根据开发者文档,Hadoop/Casssandra 集群配置依然需要:

集群里应该提供一个服务器给如下 Hadoop 组件专用: - JobTracker

  • datanode
  • namenode

该专属服务器是必需的,这是因为 Hadoop 使用 HDFS 来存储你工作所需的 JAR 依赖项、静态数据以及其他必需的信息。在你集群的整个环境下,这些虽然都是很少量的数据,但是对运行 MapReduce 工作来说非常重要。

目前,Brisk 还有点在纸上谈兵。因为该平台还没有正式使用到生产系统中,甚至还没有开源。但无论如何,这都是吸引人眼球的构想。


查看英文原文: Brisk - Unified Big-Data Platform for Low-Latency Applications and Hadoop/Hive Analytics

2011-03-27 01:482711
用户头像

发布了 52 篇内容, 共 19.2 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

Linux安装minikube指南

程序员欣宸

Kubernetes minikube 9月月更

2022前端面试官经常会考什么

beifeng1996

前端 React

如何准备vue相关的知识点

bb_xiaxia1998

Vue 前端

react面试应该准备哪些题目

beifeng1996

前端 React

docker的/var/run/docker.sock参数

程序员欣宸

Docker Docker 镜像 9月月更

Python语法之字典

梦笔生花

字典 9月月更 Python语法

面试突击86:SpringBoot 事务不回滚?怎么解决?

王磊

Java 面试

第九期-模块一

wuli洋

大数据ELK(四):Lucene的美文搜索案例

Lansonli

9月月更 EKL

Chrome操作指南——入门篇(十五)monitor

Augus

Chrome开发者工具 9月月更

Vue入门指北——modifier

Augus

Chrome开发者工具 9月月更

总结了一下前端高频面试题的答案

loveX001

JavaScript 前端

监控平台SkyWalking9入门实践

Java 架构 Skywalking

Chrome操作指南——入门篇(十四)drawer

Augus

Chrome开发者工具 9月月更

故障转移和恢复

源字节1号

软件开发 后端开发

全网首次公开!阿里巴巴1685页Java面试突击核心讲(基础到高级足足涵盖19个Java核心技术)

Java永远的神

数据库 spring 程序员 程序人生 java面试

【算法实践】手把手带你简单实现希尔排序

迷彩

算法 排序算法 希尔排序 算法实践 9月月更

2022-09-25:给定一个二维数组matrix,数组中的每个元素代表一棵树的高度。 你可以选定连续的若干行组成防风带,防风带每一列的防风高度为这一列的最大值 防风带整体的防风高度为,所有列防风高度

福大大架构师每日一题

算法 rust 福大大

数据中台架构概述

穿过生命散发芬芳

数据中台 9月月更

MFC|实现自定义复选框效果

中国好公民st

c++ 控件 9月月更

Javaweb核心响应对象

楠羽

笔记 Java核心笔记 9月月更

大厂前端面试考什么?

loveX001

JavaScript 前端

React Context源码是怎么实现的呢

flyzz177

React

2022年企业Java面试前复习的正确姿势(已助力512人入职大厂)

收到请回复

Java 程序员 微服务 语言 & 开发

【云原生 | 从零开始学Kubernetes】九、k8s的node节点选择器与node节点亲和性

泡泡

Docker 云计算 云原生 k8s 9月月更

阿里P8大牛总结的Java锁机制入门笔记,堪称教科书式天花板

收到请回复

多线程 语言 & 开发

前端动效讲解与实战

vivo互联网技术

前端 SVG 动效

【云原生 | 从零开始学Kubernetes】八、命名空间资源配额以及标签

泡泡

Docker 云计算 云原生 k8s 9月月更

20道常被问到的JavaScript题目

helloworld1024fd

JavaScript 前端

这些js手写题你能回答上来几道

helloworld1024fd

JavaScript 前端

微信业务架构图与学生管理系统架构图

冷夫冲

架构实战营 #架构实战营 架构师实战营 「架构实战营」

Brisk——针对低延迟应用与Hadoop/Hive分析的统一大数据平台_SOA_Boris Lublinsky_InfoQ精选文章