写点什么

Project Pravega ---- 支持 streaming 和实时分析的存储平台

  • 2019-09-03
  • 本文字数:708 字

    阅读完需:约 2 分钟

Project Pravega ----支持streaming和实时分析的存储平台

QCon上海2018大会上,滕昱讲师做了《Project Pravega ----支持 streaming 和实时分析的存储平台》主题演讲,主要内容如下。


演讲简介


Project Pravega 是 DELLEMC 设计并开源的用来支持实时流数据和分析的存储平台,支持存储无限的数据流并同时满足企业用户对数据持久性严格要求的产品。


Pravega 会作为 DELLEMC 给 IoT 产业提供的端到端解决方案中流存储的部分出现,另外在整个解决方案也包括流行的 stream processors, 例如 Apache Flink and Apache Spark,也包括 DELLEMC 已经发布的企业级分布式文件和对象存储平台。


Pravega 有如下特性:


  • 精确的一次性语义支持(Exactly Once schematic)

  • 业务自动伸缩支持(Auto scaling)

  • 分布式计算原语(Distributed Computing Primitive)

  • 高效的写性能(Write Efficiency)

  • 无限数据存储能力(Unlimited Retention)

  • 数据安全和持久性的支持(Durability)

  • 事务支持(Transaction Support)

听众受益

  • 了解 streaming 系统和实时分析平台的 use case 和现阶段的 solution/Architecture 的局限性

  • 了解 Project Pravega 是如何从架构上解决这些局限性

  • 分布式系统中 Exactly Once/ Transaction Support/ Auto scaling 是如何设计实现的


讲师介绍


滕昱


Dell EMC 软件开发总监


滕昱,目前就职于 DELL EMC 非结构化数据存储部门(Unstructured Data Storage) 团队并担任软件开发总监。2007 年加入 DELLEMC 以后一直专注于分布式企业云存储产品和 service 领域。先后参加并领导了中国研发团队参与两代 DELLEMC 对象存储产品的研发工作并取得商业上成功。


从 2016 年开始,兼任 Streaming 存储和实时分析系统的设计开发工作。












完整演讲 PPT 下载链接


https://qcon.infoq.cn/2018/shanghai/schedule


2019-09-03 15:102411

评论

发布
暂无评论
发现更多内容

开源一夏 | 一文读懂Shiro登录认证全流程

六月的雨在InfoQ

开源 shiro realm 8月月更 Subject

出海有道,融云携手生态伙伴打造「出海百宝箱」

融云 RongCloud

即时通讯 产品升级

数字藏品是什么?NFT系统开发。

开源直播系统源码

数字藏品 数字藏品开发 数字藏品系统 数字藏品软件

树莓派3b+ python3.5+opencv3.4.1下载安装及配置详解

Five

树莓派 OpenCV Python. 8月月更

CVE-2022-22947 分析

科技怪咖

FIXP vs SSL/TLS,谁更安全?

LAXCUS分布式操作系统

网络安全 分布式系统

CVE-2021-3129 分析

科技怪咖

企业经营管理系统哪家好?功能十分全面的阿米巴经营管理系统

优秀

项目管理工具 企业经营管理

network_factory.go源码分析

长安链

React useReducer 终极使用教程

蒋川

JavaScript react.js 低代码 Hooks useReducer

CWE 4.7中的新视图 -- 工业控制系统的安全漏洞类别

科技怪咖

A tour of gRPC:09 - gRPC Interceptor 拦截器

BUG侦探

gRPC RPC protocolBuffer

LeaRun.Java工作流引擎 快速开发业务流程

力软低代码开发平台

基于 Serverless+OSS 分分钟实现图片秒变素描

阿里巴巴云原生

阿里云 Serverless 云原生 OSS

TDesign 品牌价值观|视觉新基础

TDesign

腾讯 设计 开源项目

安卓应用及鸿蒙应用安全检测指南

科技怪咖

华为云VSS漏洞扫描服务为你排除Apache log4j2隐患

科技怪咖

长安链 p2p-Liquid 架构设计学习笔记

长安链

数据湖架构及概念简介

阿里云大数据AI技术

大数据 阿里云 技术交流

二进制SCA指纹提取黑科技: go语言逆向技术

科技怪咖

OpenSergo & CloudWeGo 共同保障微服务运行时流量稳定性

阿里巴巴云原生

阿里云 开源 微服务 云原生

面向大规模数据的云端管理,百度沧海存储产品解析

Baidu AICLOUD

云存储 混合云

Network源码接口分析

长安链

设计模式的艺术 第二十六章访问者模式练习(开发一套高校奖励审批系统,该系统可以实现教师奖励和学生审批。如果教师发表的论文数超过10篇或学生发表论文数超过2篇可以评选科研奖,如果教师教学反馈分大于等于90分或学生平均成绩大于等于90分可以评选成绩优秀奖。)

代廉洁

设计模式的艺术

如何用VSS一键自动化扫描软件包/固件,快速排查安全风险

科技怪咖

移动办公平台迎来定制潮,WorkPlus如何在钉钉和企微光环下 “出圈”?

BeeWorks

图解一致性模型

Databend

分布式 协议

性能提升1倍,成本直降50%!基于龙蜥指令加速的下一代云原生网关

OpenAnolis小助手

操作系统 网关 龙蜥技术 cpu加速

Windows下python组件hyperscan的编译与安装

科技怪咖

极狐GitLab 15.3 | issues 中建任务、许可证合规分析,超 30 项更新全面来袭!

极狐GitLab

DevOps gitlab 运维 API gitops

流日志轻松应对“10亿级别IP对”复杂场景,实现超大规模混合云网络流量可视化

Baidu AICLOUD

流日志 网络问题诊断 专线网络

Project Pravega ----支持streaming和实时分析的存储平台_QCon_滕昱_InfoQ精选文章