QCon 演讲火热征集中,快来分享技术实践与洞见! 了解详情
写点什么

阿里 10PB+ 天日志系统设计和实现

  • 2019-08-13
  • 本文字数:661 字

    阅读完需:约 2 分钟

阿里10PB+天日志系统设计和实现

ArchSummit深圳2019大会上,孙廷韬(龙悟)讲师做了《阿里 10PB+/天日志系统设计和实现》主题演讲,主要内容如下。


演讲简介


阿里云日志服务作为阿里集团底层日志平台,提供完善易用的数据采集方案,PB 级数据实时索引和分析能力,在阿里集团被广泛应用,数千工程师直接使用日志服务进行日常问题排查,也有大量应用基于日志服务进行二次开发,如阿里集团所有大型 Trace 系统底层都使用日志服务。


演讲提纲


1、介绍阿里云 10PB +/天日志系统如何运转


  • 核心功能介绍

  • 支持的场景和解决的问题


2、系统解决的核心技术难点


性能和成本


  • PB 级索引系统设计思路


多租户下稳定性实现


  • 流量秒级流控、防穿透

  • 自动负载均衡

  • 资源动态分配和隔离


系统管理


  • 百万级的客户端如何管理、监控、问题自助定位

  • 应用管理


3、面向运维场景的高级功能介绍


  • 基于机器学习的时序数据智能诊断和预测

  • 超大规模日志实时智能聚类


4、应用实践


  • 阿里内部基于日志服务构建系统实践


听众受益点


  1. 了解生产环境下 10( PB +/天)日志系统的设计和实现,以及在这背后的思考

  2. 了解系统如何稳定支持上万应用

  3. 了解如何基于日志数据进行智能运维,以及阿里内部应用实践


讲师介绍


孙廷韬(龙悟)


阿里云 高级技术专家


阿里云高级技术专家,负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务,提供日志数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理/分析能力。在阿里集团,覆盖百万服务器,上万应用,单日采集数据超过 10PB,为数千工程师提供简单易用的日志分析服务。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-13 00:006666

评论

发布
暂无评论
发现更多内容

翻译:《实用的Python编程》03_01_Script

codists

Python

「架构师训练营 4 期」 第八周 - 001&2

凯迪

架构师训练营 4 期

数据库规范设计说明书 整理

edd

不写代码可以写爬虫程序吗?老师说可以,无编码学爬虫之一。

梦想橡皮擦

Python 28天写作 2月春节不断更

APP启动流程图

林亚超

递归的人生哲学

Nick

数据结构 算法 递归

网络故障的排错思路指南

微服务架构设计与最佳实践

万俊峰Kevin

微服务 go-zero Go 语言

《DDD with TLA+》(2) 系统行为

陈皓07

Elasticsearch Query Phase

escray

elastic 七日更 28天写作 死磕Elasticsearch 60天通过Elastic认证考试 2月春节不断更

并发与并行

ES_her0

28天写作

译文 | 深度剖析 Pulsar Functions

Apache Pulsar

大数据 kafka 开源 pulsar Apache Pulsar

浅谈JVM 垃圾回收原理

跳蚤

第8周课后练习-性能优化二

潘涛

架构师训练营 4 期

秒杀系统的难点在哪?如何突破?

跳蚤

【答疑点评必看】如何从「数据范围」中找到解题「突破口」...

宫水三叶的刷题日记

面试 LeetCode 数据结构与算法

《函数式编程精粹》(1) 函数式思考

陈皓07

《函数式编程精粹》(2) 热身:A STACK BASED CALCULATOR

陈皓07

《函数式编程精粹》(3) Functional Design

陈皓07

架构师进阶之《做踏实的架构》

陈皓07

第十三周作业&总结

胡益

为何要构建团队契约

Bruce Talk

敏捷 Agile

join为啥会阻塞主线程?

叫练

join

《DDD with TLA+》(1) 建模思考

陈皓07

《DDD with TLA+》(3) DEBUG & MODELING

陈皓07

优化JAVA代码总结

跳蚤

架构师训练营第八周作业 - 命题作业

阿德儿

博文推荐 | Apache Pulsar 延迟消息投递解析

Apache Pulsar

kafka 开源 RocketMQ pulsar Apache Pulsar

Java 并发系列(一):多线程三大特性

TroyLiu

Java 多线程 原子性 可见性 有序性

架构师训练营课程纲要

陈皓07

架构师进阶之《Your Mouse is a Database》

陈皓07

阿里10PB+天日志系统设计和实现_ArchSummit_孙廷韬(龙悟)_InfoQ精选文章