写点什么

Precog:大数据分析即服务

  • 2012-10-11
  • 本文字数:1153 字

    阅读完需:约 4 分钟

近日, Precog 宣布了他们的大数据仓储和分析服务,该服务负责处理数据的抓取、变换分析和可视化等过程,以及服务运行所基于的基础架构。不过,这一服务也通过 RESTful API 预留了各种开放的访问点,支持开发者和数据科学家控制整个过程。

Precog 可以从各种数据源抓取输入数据,其中包括 SQL 数据库、Amazon S3、Hadoop、MongoDB、客户端 Web 应用和后端服务器等。 RESTful API 支持开发者从外部源(如 Twitter 或 Facebook)、CSV 文件或移动设备抓取数据。抓取的数据保存到一个叫做 PrecogDB 的定制数据库中,而且我们还可以使用人群统计、态度、位置和其他信息使数据更为丰富。

之后,数据可以通过多种手段加以分析,比如通过一个 API ,或是利用客户库(JavaScript,PHP),或者使用 Labcoat (一种支持使用 Quirrel 这种声明式查询语言进行数据分析的 IDE)。开发者可以创建自己的数据抓取、强化和分析模块,甚至可以将这些模块拿到市场上销售。

Precog 能够将整个过程运行在不同的云供应商之上——如 Amazon EC2 和 SoftLayer——以便增加系统的弹性和正常运行时间。

在 InfoQ 进行的一次采访中,Precog 的 CEO 和创始人 John A. De Goes 解释到:

“(系统的)架构与数据库分析有些相似,比如都包括面向列的存储;但是其区别在于,前者支持完全异构的、非规范化的数据,通过对 Quirrel 的支持,相对于使用 RDBMS 进行分析,使用这种类似于“面向大数据的 R”的语言,你能够很方便地执行很多更为高级的计算。”

PrecogDB 是该平台的核心,它是一种用 Scala 编写的、面向列的数据库,运行在 JVM 上,它也为数据捕获和分析进行了优化。据 De Goes 介绍,PrecogDB 中可以保存“测量数据,如点击、购买、尺寸、Twitter 数据,或是收集自其他各种活动的日志信息”。他还补充道,“Precog 尚不能存储大块的非结构化数据,尽管在生物信息学和其他一些领域的应用的确有这种需求。不过这一功能已经在我们的路线图上了。”

至于 Quirrel——这种由 Precog 实现的统计查询语言,De Goes 谈到:“Quirrel 很多方面都与 R 编程语言比较相似。像 R 一样,Quirrel 也是为高级的分析与统计而设计的。但与 R 不同的是,Quirrel 并非图灵完备的语言,它是纯声明式的,利用它更容易高效地在大规模集群的机器中分发 Quirrel 查询(这也使 Quirrel 比 R 更容易学习)。”

PrecogDB 有一些“用于常见的分析与统计计算的内置例程”,它还提供了一个“细粒度的、基于能力的安全模型,支持来自移动设备或 Web 的应用程序通过 RESTAPI 直接访问其功能”。

查看英文原文 Precog: Big Data Analytics as a Service


感谢侯伯薇对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2012-10-11 01:514325
用户头像
臧秀涛 略懂技术的运营同学。

发布了 300 篇内容, 共 140.3 次阅读, 收获喜欢 35 次。

关注

评论

发布
暂无评论
发现更多内容

npm下载electron缓慢的问题

玏佾

npm Electron

Vue+SpringBoot+SpreadJS 实现的在线文档

葡萄城技术团队

Spring Boot Vue SpreadJS

识别代码中的坏味道(三)

Page

敏捷开发 面向对象 重构 代码质量 代码坏味道

程序员的晚餐 | 5 月 18 日 瓠子,年少时的味道

清远

美食

从零开始制作一台计算机-概述

小兵

计算机基础

如何更自信的写作

董一凡

写作

产品周刊 | 第 15 期(20200517)

八味阁

产品 设计 产品经理 产品设计

给苹果提醒APP配个助手

BabyKing

提醒助手 TODO 奇妙清单 Reminders Helper

ZooKeeper,到底如何选主?

奈学教育

单核小鸡上的Minikube实践(一)

摩登土狗

Docker Linux DevOps k8s minikube

设计模式前传——为什么要学设计模式

大头星

Java 面试 设计模式

换脸新潮流:BIGO风靡全球的人脸风格迁移技术

DT极客

Live2D for Unity入门篇 4.x

波波

编程 游戏开发 Live2D Unity

Deno 入门手册:附大量 TypeScript 代码实例

寇云

node.js typescript

Kafka系列第7篇:你必须要知道集群内部工作原理的一些事!

z小赵

大数据 kafka 实时计算

东哥和刘亦菲的故事

张利东

R

MacOS 下使用VSCode进行GoLang Test报错

北纬32°

macos vscode Unit Test debug Go 语言

JAVA主流锁

颇风

Java 多线程

Spring Security 中的授权操作原来这么简单

江南一点雨

Java spring Spring Boot spring security

重新强调完成的定义

Bob Jiang

Scrum 完成的定义 DoD definition of done

项目提升服务过程与总结稿

Geek_bc0aff

半小时手工解决的活,让我意外学会了 python 的 pdfkit 库

小匚

Python python教程

NIO看破也说破(四)—— Java的NIO

小眼睛聊技术

Java 学习 开源 架构 后端

DDD 实践手册(番外篇: 事件风暴-概念)

Joshua

领域驱动设计 DDD 事件风暴 事件驱动 Event Storming

Web3极客日报 #128

谢锐 | Frozen

区块链 开源 技术社区 Rebase Web3 Daily

Web3极客日报#127

谢锐 | Frozen

区块链 开源 技术社区 Rebase Web3 Daily

谈谈控制感(7):底线思维与控制感

史方远

职场 心理 成长

游戏夜读 | Two Sum问题的八个解

game1night

回“疫”录(20):世界从来不会欺负听话的人

小天同学

疫情 回忆录 现实纪录 纪实

Kotlin 协程实践(2)之 异步和Callback地狱

陈吉米

Java kotlin 协程

Redis缓存三大问题

Bruce Duan

redis 缓存穿透 缓存击穿 缓存雪崩

Precog:大数据分析即服务_DevOps & 平台工程_Abel Avram_InfoQ精选文章