AICon上海|与字节、阿里、腾讯等企业共同探索Agent 时代的落地应用 了解详情
写点什么

搭建大规模高性能的时间序列大数据平台

  • 2019-09-14
  • 本文字数:659 字

    阅读完需:约 2 分钟

搭建大规模高性能的时间序列大数据平台

ArchSummit深圳2018大会上,孟晓桥讲师做了《搭建大规模高性能的时间序列大数据平台》主题演讲,主要内容如下。


演讲简介


基于时间序列的大数据平台是现代智能监控系统的核心。当系统的规模达到一定量级时,构建基于时间序列的大数据平台需要解决四个挑战:高数据吞吐量,数据查询的高度实时性,成本控制和用户对系统的滥用导致的对系统稳定性的挑战。在演讲中,我将分享 Pinterest 监控组应对这四个挑战的经验。


演讲提纲


  • 介绍基于时间序列的大数据平台的应用

  • 时间序列的大数据平台的基本架构

  • 四个挑战以及应对方法:

  • a. 高数据吞吐量 - 预处理,压缩,过滤

  • b. 数据查询的高度实时性 - 数据降维,缓冲,全内存数据库

  • c. 成本控制 - 基于数据使用记录的智能数据差异化处理

  • d. 用户对系统的滥用导致对系统稳定性的挑战 - 对数据写和读的实时建模和监控

  • 总结


听众受益


  • 从事监控的参会者能了解时间序列数据平台的系统框架和可能遇到的实际问题;

  • 分享的四个挑战和应对方法也适用于很多大规模实时的数据平台,希望对从事大数据的参会者也有所启发。


讲师介绍


孟晓桥


Pinterest 监控组经理


现任美国 Pinterest 公司监控组经理。自 2006 年于美国加州大学洛杉矶分校计算机系获得博士学位后,先后在 NEC 北美研究所和 IBM 沃特森研究院任资深研究员。孟晓桥在云计算和计算机网络领域深耕 15 年,发表了 50 余篇学术论文和 10 余项美国专利。近三年以来,带领 Pinterest 公司监控组开发和运维着多套监控系统,保障了公司云计算平台的稳定和高性能。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2018/shenzhen/schedule


2019-09-14 16:52926

评论

发布
暂无评论
发现更多内容

Android面试复盘:认真刷题,掌握原理很重要,【深夜思考】

android 程序员 移动开发

Android面试官:看你简历上写熟悉-AIDL,说一说-oneway-吧

android 程序员 移动开发

Android面试题之动画+事件处理篇,腾讯、美团Android面试经验分享

android 程序员 移动开发

Android:年过35岁的程序员还有出路吗?面试了一个-46-岁程序员后

android 程序员 移动开发

Apache APISIX 社区周报 | 2021 10.15-10.31

API7.ai 技术团队

API网关 社区周报 Apache APISIX

Android音视频--H,flutter小程序开发

android 程序员 移动开发

Android高阶:了解这些知识点,学习Binder就不成问题(1)

android 程序员 移动开发

Android:三四十岁的大龄程序员如何对后辈评价“太水技术低

android 程序员 移动开发

Android面试必问之Binder进程间通信机制,大厂喜欢从哪些角度考你呢?看完这篇你就懂啦

android 程序员 移动开发

Android面试题之Broadcast Receiver篇,你们觉得作为一名程序员最大的悲哀是什么

android 程序员 移动开发

Android面试:计算机网络面试知识点系统总结,拔剑金九银十(1)

android 程序员 移动开发

Android面试|任何东西只要够深,都是一把刀!性能优化都没搞好就别想着去找对象了

android 程序员 移动开发

Android高级工程师BAT面试题及知识点整理大全(Java基础+Android

android 程序员 移动开发

Android高级面试题大全(持续更新中),字节跳动厂内部超高质量Flutter+Kotlin笔记

android 程序员 移动开发

Android面经分享:我是如何拿到腾讯头条美团小米的offer从小厂跳到大厂的?

android 程序员 移动开发

Android面试:计算机网络面试知识点系统总结,拔剑金九银十

android 程序员 移动开发

Android面试主题整理合集(一),android开发前景

android 程序员 移动开发

Android面试反思:开发5年crud背景,惨遭字节阿里双挂,网站开发前后端分离

android 程序员 移动开发

Android面试题之性能优化篇,当上项目经理才知道

android 程序员 移动开发

Android高工面试(难度:四星(1),2021Android高级面试题总结

android 程序员 移动开发

Android面试指南(三),kotlin匿名内部类写法

android 程序员 移动开发

Android面试:一个进程有多少个-Context-对象?看似初级的问题

android 程序员 移动开发

Android面试官,面试时总喜欢挖基础坑,整理了26道面试题牢固你基础

android 程序员 移动开发

Android面试抱佛脚:进程间通讯学习,从Binder使用看起

android 程序员 移动开发

Android面试题之性能优化篇(1),移动开发工程师的岗位职责

android 程序员 移动开发

Android面试题之性能优化篇(2),安卓高级开发面试题

android 程序员 移动开发

Android高阶:了解这些知识点,学习Binder就不成问题,androidapp开发教程推荐

android 程序员 移动开发

一个程序员眼中的项目经理

神策技术社区

OKR 项目经理

Android面试必备知识点:Android中Handler八大问题汇总

android 程序员 移动开发

Android题集四大组件之Content provider、BroadcastReceiver

android 程序员 移动开发

Android高工面试(难度:四星,2021大厂Android知识点总结

android 程序员 移动开发

搭建大规模高性能的时间序列大数据平台_ArchSummit_孟晓桥_InfoQ精选文章