写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:52883

评论

发布
暂无评论
发现更多内容

SpringBoot之ScopedProxyMode

梦倚栏杆

商用RTC vs 基于开源WebRTC自研 开发者该如何选择?

融云 RongCloud

150亿美元,CANVA可画市场价值为何堪比金蝶、用友?

ToB行业头条

SaaS 可画 品牌视觉管理

使用poetry进行Python项目开发

★忆先★

Python

全面赋能泛娱乐社交场景

anyRTC开发者

音视频 WebRTC 泛娱乐社交

你真的会设置密码吗?

卢卡多多

密码学 6月日更

盘点用jQuery框架实现“for循环”的四种方式!

华为云开发者联盟

jquery 遍历 js 框架 for循环

【融云技术】Native C/C++ 服务适配多指令集 CPU 漫谈

融云 RongCloud

警惕商标到付快递的骗局

石云升

商标 诈骗 6月日更

Python——字典的遍历

在即

6月日更

EasyRecovery---U盘数据恢复技巧

淋雨

数据恢复 EasyRecovery 文件恢复

为什么服务实例在隔离之后还在继续处理请求?

BUG侦探

TCP 半关闭连接 接收缓存

线上程序cpu占用过高、程序死锁,该如何定位问题?

李尚智

网络研讨会|想弄明白应用安全?我们为你准备了5个锦囊!

鉴释

DevSecOps 安全编码规范 应用安全 静态分析

用 Go struct 不能犯的一个低级错误!

煎鱼

Go 语言

我想挑战下我的软肋,动手实现个Spring应用上下文!

小傅哥

spring 应用上下文 资源加载 自动识别 扩展机制

优秀的 Scrum Master 应当是仆人式的领导

万事ONES

Scrum 敏捷开发 ScrumMaster ONES

项目进度管理 | 如何为项目制定里程碑?

万事ONES

项目管理 研发管理 研发管理工具 ONES

专访关涛:阿里EB级大数据体系,背后的计算平台竟是这样(采访提纲)

花花

试用期 签约计划

Python3.10中的结构化模式匹配语法

★忆先★

Python

最牛的编码套路

hasWhere

HarmonyOS Connect伙伴峰会于厦门举办 硬件生态快速发展

科技汇

使用 Python 对数据进行压缩

★忆先★

智慧水务|大坝水利可视化管理,综合态势一屏掌握

一只数据鲸鱼

数据可视化 智慧水务 三维可视化 水利 水力发电

Keepalived+Nginx 搭建高可用集群

逸少

nginx 高可用 keepalive

一文讲全了Python类和对象内容

华为云开发者联盟

Python

云图说|初识华为云数据库GaussDB(for openGauss)

华为云开发者联盟

数据库 开源 GaussDB GaussDB(for openGauss) 华为云数据库

一文介绍备机重建各种方法的实现机制

华为云开发者联盟

主机 集群 GaussDB(DWS) 备机重建 备机

Android客户端网络预连接优化机制探究

vivo互联网技术

android TCP HTTP

JAVA笔记(四)--三大结构语句

加百利

Java 后端 6月日更 结构语句

初探Deno.js

★忆先★

deno

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章