写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:52907

评论

发布
暂无评论
发现更多内容

揭秘视频千倍压缩背后的技术原理之预测技术

拍乐云Pano

4面拿华为offer的水平,面试阿里居然一面就被吊打?

Java架构师迁哥

【布道API】API端点/资源命名最佳实践

devpoint

RESTful Rest API 6月日更

2021年马士兵老师1000道Java大厂面试真题视频解析+笔记+源码

Java架构追梦

Java 架构 面试 马士兵

QCon演讲| 从团伙到团队,PingCode研发团队敏捷实践血泪史

爱吃小舅的鱼

敏捷 研发管理 研发效能 开发

基于 Flink 打造的伴鱼实时计算平台 Palink 的设计与实现

Apache Flink

flink

JAVA中的浮点数与二进制

加百利

Java 后端 二进制 6月日更

【FlinkSQL】Flink Table & SQL 数据类型

Alex🐒

flink 翻译 FlinkSQL flink1.13

从零开始学习3D可视化之场景层级(1)

ThingJS数字孪生引擎

大前端 物联网 可视化 3D可视化 数字孪生

【FlinkSQL】Flink Table & SQL 时间属性

Alex🐒

flink 翻译 FlinkSQL flink1.13

奇亚矿机系统,Bzz分币系统,云算力APP开发

36氪企服点评|中国企服软件金榜-项目管理系列榜单揭晓,Worktile夺魁!

爱吃小舅的鱼

项目管理 研发管理 研发工具 项目管理工具

微服务架构中的两款流量防卫兵

悟空聊架构

sentinel 高并发 Hystrix 6月日更 流量防控

北京人工智能产业联盟成立,百度CTO王海峰出任联盟理事长

百度大脑

人工智能

爱奇艺于首届MediaAIAC与首届高新视频创新应用大赛斩获三项权威大奖,技术实践领跑行业创新

爱奇艺技术产品团队

智慧工厂|全方位监控管理,可视化让生产变的透明

一只数据鲸鱼

数据可视化 工业互联网 智慧农业 智慧工厂 纺织企业

「免费开源」基于Vue和Quasar的前端SPA项目crudapi后台管理系统实战之EXCEL数据导入(九)

crudapi

Vue crud crudapi qusar 数据导入

一文你带快速认识Vue-Router路由

华为云开发者联盟

html Vue vue-router 路由 路由管理器

淘宝“618”双11系统架构是如何设计的呢?这份Java千亿级并发系统架构设计笔记告诉你答案

Java 程序员 架构 计算机

教你三种jQuery框架实现元素显示及隐藏动画方式

华为云开发者联盟

jquery 动画 元素 JQuery框架 网页

都啥年代了,求你别再说Redis是单线程了!

Java redis 编程 程序员

👋 Agora Flat 开源教室 Web 版上线啦~

千竹

开源 音视频 在线教育 互动白板 互动课堂

5分钟带你玩转国内首款研发自动化工具PingCode Flow

PingCode研发中心

研发管理 研发效能 自动化管理 研发工具

一款超牛的 Linux 终端复用神器(附安装、使用教程)

学神来啦

Linux 学习 运维 安全

竞赛|数据竞赛Top解决方案开源整理

不脱发的程序猿

开源 数据竞赛

汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

Apache Flink

flink

对话吴军:人工智能如何推动金融行业的数字化转型

索信达控股

人工智能 大数据 金融科技 数字化转型 金融

阿里最新发布的 Spring Cloud ALiBaBa 全解第三版,一睹庐山真面目!

Java 程序员 架构 微服务

6月18日华为云携手中科院上海药物所,深度解读AI药物研发技术

华为云开发者联盟

AI 华为云 药物 TechWave EIHealth

百度大规模Service Mesh落地实践

百度Geek说

Service Mesh 软件架构

MTU带来的问题

BUG侦探

网络技术 网络运维 GRE 隧道

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章