写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:52849

评论

发布
暂无评论
发现更多内容

小伙伴问我:如何搭建Maven私服?我连夜肝了这篇实战文章!!

冰河

maven 私服 仓库

区块链与分布式存储构建数据要素市场基础设施

CECBC

区块链 分布式

VUE第一个项目怎么读懂

MySQL从删库到跑路

Java html5 Vue 大前端 vux

架构师训练营第 1 期 - 第 3 周 - 作业

wgl

极客大学架构师训练营

小伙伴想学Jenkins自动构建发布项目,我:安排上了!!

冰河

项目管理 jenkins 灰度发布 自动构建 及时发布

第二节课后作业

happy

Architecture Phase1 Week4:Summarize

phylony-lu

极客大学架构师训练营

架构师训练营第三周心得

CmHuang

【知识分享】区块链常用术语

CECBC

区块链 货币 网络节点

区块链带来第四次技术革命 融入生产大幅提高企业收入

CECBC

区块链 数字资产 技术革命

BigDecimal是如何搞定精度缺失的

hasWhere

架构师训练营第 1 期 - 第 3 周 - 学习总结

wgl

极客大学架构师训练营

架构师训练营第四周学习总结

邓昀垚

极客大学架构师训练营

区块链--凌驾于政治之上的存在

CECBC

区块链 信息技术

LeetCode题解:49. 字母异位词分组,数组计数+哈希表,JavaScript,详细注释

Lee Chen

大前端 LeetCode

架构师训练营 Week4 - 课后作业

缓存 自动化 异步 集群 冗余

一个草根的日常杂碎(10月2日)

刘新吾

随笔杂谈 生活记录 社会百态

一个草根的日常杂碎(10月4日)

刘新吾

随笔杂谈 生活记录 社会百态

Appium之「元素定位和UiAutomator表达式」

清菡软件测试

Web Storage API的介绍和使用

程序那些事

web tech web storage web storage api storage api

Architecture Phase1 Week4:HomeWork

phylony-lu

极客大学架构师训练营

如何开一场高效的会议?

boshi

高效工作 开会

架构师训练营 - 命题作业 - 第三周

徐时良

极客大学架构师训练营

让人一夜暴富的区块链,新时代革命的开始

CECBC

区块链 时代革命

Serverless Frist 的渐进式应用开发框架 Malagu

木香丘

开源 Serverless 云原生 Malagu Framework

理想的程序员

极客思享

一个草根的日常杂碎(10月3日)

刘新吾

随笔杂谈 生活记录 社会百态

Serverless与传统Web框架的迁移

刘宇

Serverless

CECBC区块链专委会副主任吴桐主讲光大证券法定数字货币讲座

CECBC

区块链 数字货币

架构师训练营 - 学习笔记 - 第三周

徐时良

极客大学架构师训练营

spring-boot-route(五)整合Swagger生成接口文档

Java旅途

Java springboot swagger

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章