QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

阿里 10PB+ 天日志系统设计和实现

  • 2019-08-13
  • 本文字数:661 字

    阅读完需:约 2 分钟

阿里10PB+天日志系统设计和实现

ArchSummit深圳2019大会上,孙廷韬(龙悟)讲师做了《阿里 10PB+/天日志系统设计和实现》主题演讲,主要内容如下。


演讲简介


阿里云日志服务作为阿里集团底层日志平台,提供完善易用的数据采集方案,PB 级数据实时索引和分析能力,在阿里集团被广泛应用,数千工程师直接使用日志服务进行日常问题排查,也有大量应用基于日志服务进行二次开发,如阿里集团所有大型 Trace 系统底层都使用日志服务。


演讲提纲


1、介绍阿里云 10PB +/天日志系统如何运转


  • 核心功能介绍

  • 支持的场景和解决的问题


2、系统解决的核心技术难点


性能和成本


  • PB 级索引系统设计思路


多租户下稳定性实现


  • 流量秒级流控、防穿透

  • 自动负载均衡

  • 资源动态分配和隔离


系统管理


  • 百万级的客户端如何管理、监控、问题自助定位

  • 应用管理


3、面向运维场景的高级功能介绍


  • 基于机器学习的时序数据智能诊断和预测

  • 超大规模日志实时智能聚类


4、应用实践


  • 阿里内部基于日志服务构建系统实践


听众受益点


  1. 了解生产环境下 10( PB +/天)日志系统的设计和实现,以及在这背后的思考

  2. 了解系统如何稳定支持上万应用

  3. 了解如何基于日志数据进行智能运维,以及阿里内部应用实践


讲师介绍


孙廷韬(龙悟)


阿里云 高级技术专家


阿里云高级技术专家,负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务,提供日志数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理/分析能力。在阿里集团,覆盖百万服务器,上万应用,单日采集数据超过 10PB,为数千工程师提供简单易用的日志分析服务。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-13 00:006671

评论

发布
暂无评论
发现更多内容

硬核,阿里自爆4月份Java题库答案(技术+人事),Github获赞76K

Java架构师迁哥

2021年IT行业八大趋势预测

禅道项目管理

自动化 数字化 技术债 行业趋势

大数据-Big Data

进击的梦清

大数据

想要做网页游戏怎么办 ?PixiJs 篇(二)

空城机

JavaScript 大前端 游戏 4月日更 pixi

yarn 集群的架构和工作原理

五分钟学大数据

hadoop YARN 4月日更

微服务的演化

箭上有毒

4月日更

亮相 LiveVideoStackCon,透析阿里云窄带高清的现在与未来

阿里云CloudImagine

视频编解码 视频处理

网易有道 ASR 团队斩获 Interspeech 2021 算法竞赛两项冠军

有道技术团队

AI 算法竞赛

实践案例丨Pt-osc工具连接rds for mysql 数据库失败

华为云开发者联盟

MySQL 数据库 pt-osc工具 rds for mysql

尴尬!看完阿里P7大佬自爆的Java面试复盘笔记,才知道自己才是井底之蛙

Java架构师迁哥

Storm-实时计算系统

进击的梦清

大数据 批处理 Storm

python 内置数据结构list、set、dict、tuple(三)

若尘

List 数据结构 set 元组 Python编程

20 图 |6 千字|缓存实战(上篇)

悟空聊架构

redis 缓存 缓存穿透 缓存击穿 缓存雪崩

Android实现文档在线预览功能

寻找生命中的美好

android pdf预览 文档预览

Hadoop-离线批处理技术

进击的梦清

大数据 hadoop 批处理

nginx 搭建简单图片服务器实现负载均衡

Java小咖秀

nginx 服务器 图片

anyHouse - Android 仿写 ClubHouse

anyRTC开发者

android 音视频 WebRTC RTC 语音社交

Kubernetes入门——Kubernetes应用部署

百度开发者中心

Kubernetes #技术课程#

计算机原理学习笔记 Day12

穿过生命散发芬芳

计算机原理 4月日更

「 社区建设功勋奖名单公布」—— InfoQ 写作平台【 1 周年盛典 】

InfoQ写作社区官方

1 周年盛典 热门活动

没想到【成功的计算机视觉应用】居然是这样部署的!

澳鹏Appen

人工智能 自动驾驶 机器学习 大数据 计算机视觉

飞桨分布式训练又推新品,4D混合并行可训千亿级AI模型

百度大脑

百度 AI 飞桨

Ansible 简单使用

耳东@Erdong

4月日更

《专访阿里研究员吴翰清:云时代,如何建设更安全的互联网环境?》(采访提纲)

xiezhr

网络安全 阿里吴翰清

纳尼?就凭这拿到了阿里巴巴50K的开发岗offer?

Java架构师迁哥

运动的这两个价值,你知道吗?|靠谱点评

无量靠谱

百度大脑开放日福州站-智能制造与安全生产专场报名啦

百度大脑

百度大脑 开放日

AIOps智能运维

进击的梦清

运维自动化 AIOPS 智能

还在写大量 if 来判断?试试用一个规则执行器来替代它

xcbeyond

4月日更

谈谈中台架构之交易中台

艾小仙

牛P牛P!Github上堪称2021最全、最新Java面试题库到底有多香?

比伯

Java 程序员 架构 编程语言 技术宅

阿里10PB+天日志系统设计和实现_ArchSummit_孙廷韬(龙悟)_InfoQ精选文章