写点什么

Brisk——针对低延迟应用与 Hadoop/Hive 分析的统一大数据平台

  • 2011-03-27
  • 本文字数:1168 字

    阅读完需:约 4 分钟

两大主流 BigTable 开源实现之间的竞争—— HBase Cassandra 加速了 DataStax 推出其新产品,即 Brisk,一款基于 Cassandra 的 Hadoop 分布式实现。DataStax 产品副总裁 Ben Werther 谈到:

我们的想法是推出一款独一无二的平台,使其既能为“实时”web 范围应用提供低延迟数据库,又能利用 Hadoop 提供的各种各样丰富的数据分析功能。我们从业界所得知的一个需求是,他们需要一个完整的大数据视图,从实时低延迟应用贯穿到可用来进行数据分析的工具,以及使用这些工具把分析结果数据反馈回应用的能力。

Tim Estes,Digital Reasoing 的 CEO 对此做了进一步解释

通过把 Cassandra 的能力——包括其简易性、可伸缩性和快速读写性——结合到 Hadoop 上,DataStax 已经创建了一个能够加快从数据创建到数据分析速度的强大系统。我们可以借用部分 Cassandra 提供的独特功能来帮助那些存在多个数据中心并且需要处理大量复杂数据的项目。我们非常激动能够和 DataStax 小组合作,把这些功能介绍给一些对此有很高期望的用户——尤其是国防情报部门。

当 Cassandra 的缔造者——Facebook——因为 HBase 强大的一致性特点而开始为其社交邮件产品放弃Cassandra 转向HBase 时,DataStax 则选择了相反的一条道路,结合Cassandra 和Hadoop。 Ben Werther——DataStax 产品副总裁对此说到

HBase 成熟度没有 Cassandra 那么高,而且它构建在 HDFS(Hadoop 分布式文件系统)之上,在可伸缩性和可靠性方面会面临一些挑战……Cassandra 可以为 Hadoop 堆栈低级别部分的所有功能提供服务,而与此同时在同一基础设施中又能提供低延迟实时应用的功能。此外,Cassandra 的设计初衷就是可以让部分 Brisk 基础设施关注于数据分析,而另一部分处理低延迟应用。当你往 Hive 里写查询语句或者使用 Hive 进行优化时,你可以把它作为一个实时基础设施,即插即用。

Brisk 包括了 Hadoop MapReduce 和 Hive,使你可以跨多个商用硬件集群做特大数量的计算工作。但为了兼容 Cassandra 提供的存储层,需要对 Hadoop HDFS 文件系统进行切换。同时,你还是可以使用 Cassandra 本有的功能:为实时应用设计的数据库。也就是说,Brisk 不会消除一些 Hadoop 中的单点失效。根据开发者文档,Hadoop/Casssandra 集群配置依然需要:

集群里应该提供一个服务器给如下 Hadoop 组件专用: - JobTracker

  • datanode
  • namenode

该专属服务器是必需的,这是因为 Hadoop 使用 HDFS 来存储你工作所需的 JAR 依赖项、静态数据以及其他必需的信息。在你集群的整个环境下,这些虽然都是很少量的数据,但是对运行 MapReduce 工作来说非常重要。

目前,Brisk 还有点在纸上谈兵。因为该平台还没有正式使用到生产系统中,甚至还没有开源。但无论如何,这都是吸引人眼球的构想。


查看英文原文: Brisk - Unified Big-Data Platform for Low-Latency Applications and Hadoop/Hive Analytics

2011-03-27 01:482754
用户头像

发布了 52 篇内容, 共 19.4 次阅读, 收获喜欢 3 次。

关注

评论

发布
暂无评论
发现更多内容

QQ截图图片不够清晰解决方法

源字节1号

微信小程序 开源 软件开发

解决 Font '宋体' is not available to the JVM

源字节1号

微信小程序 开源 软件开发

别急着给中国版ChatGPT唱赞歌:“追风者”无缘“星辰大海”

Alter

百度 大模型 ChatGPT 文心一言

【JVM盲点补漏系列】「并发编程的难题和挑战」深入理解JMM及JVM内存模型知识体系机制(1)

洛神灬殇

Java JVM 3月月更

华为都入场做ERP了,国产ERP困局如何破解?

陈飞

分布式数据库 国产化 ERP SaaS 平台 PaaS平台

pdf编辑工具:PDF Expert 中文激活版

真大的脸盆

Mac PDF Mac 软件 PDF编辑 pdf编辑工具

设计模式之美––依赖反转

GalaxyCreater

设计模式

机器学习算法(六)基于天气数据集的XGBoost分类预测

汀丶人工智能

数据挖掘 数据分析 XGBoost

如何编写测试用例?

测吧(北京)科技有限公司

测试

面试突击:MVCC 和间隙锁有什么区别?

王磊

java面试

通过 Amazon Managed Microsoft Active Directory 运行混合 Active Directory 服务

亚马逊云科技 (Amazon Web Services)

Amazon

“找工难&金三银四”,关于面试,你需要知道的这些事

IT学习日记

面试 Java、 找工作 简历模板

架构蓝图--软件架构的“4+1”视图模型

涛哥 数字产品和业务架构

软件架构 模型

软件测试/测试开发丨app自动化之如何参数化用例

测试人

软件测试 自动化测试 测试开发

狼来了

俞凡

人工智能

SaaS 软件搞定客户的关键环节分析

产品海豚湾

产品经理 SaaS 产品运营 B 端产品 互联网产品

面试官:如何保证接口幂等性?一口气说了9种方法!

程序员大彬

Java 接口幂等

adb的常用命令

测吧(北京)科技有限公司

测试

华为P系列,雪夜梅花开,似是故人来

脑极体

华为

初识 Flutter 的绘图组件 — CustomPaint

岛上码农

flutter ios 安卓 移动端开发 跨平台开发

Go 语言 new 和 make 关键字的区别

AlwaysBeta

面试 Go 语言

关于chatGPT是否会干掉程序员的一次专业评估

深清秋

ChatGPT 程序员发展

隐式等待、显示等待和强制等待

测吧(北京)科技有限公司

测试

Gestures(手势)

芯动大师

Activity 手势 gesturelistener

分享一个修改了xml文件再也不用重启的项目mybatis-xmlrealod

越长大越悲伤

Java 开源 Spring Boot mybatis 开源项目

软件测试/测试开发丨app自动化测试之Andriod WebView如何测试

测试人

软件测试 自动化测试 测试开发

Spring中PropertyPlaceholderConfigurer替换占位符的问题

石臻臻的杂货铺

spring-boot

电商秒杀系统

Geek_7d539e

湃方科技联合CnosDB助力旋转类机械预测性维护

CnosDB

数据库 开源 时序数据库 CnosDB

有一种焦虑叫ChatGPT(62/100)

hackstoic

AI AIGC ChatGPT

照片肖像美容软件:ON1 Portrait AI 2023.1 激活版

真大的脸盆

Mac Mac 软件 照片处理工具 肖像美容软件

Brisk——针对低延迟应用与Hadoop/Hive分析的统一大数据平台_SOA_Boris Lublinsky_InfoQ精选文章