写点什么

阿里 10PB+ 天日志系统设计和实现

  • 2019-08-13
  • 本文字数:661 字

    阅读完需:约 2 分钟

阿里10PB+天日志系统设计和实现

ArchSummit深圳2019大会上,孙廷韬(龙悟)讲师做了《阿里 10PB+/天日志系统设计和实现》主题演讲,主要内容如下。


演讲简介


阿里云日志服务作为阿里集团底层日志平台,提供完善易用的数据采集方案,PB 级数据实时索引和分析能力,在阿里集团被广泛应用,数千工程师直接使用日志服务进行日常问题排查,也有大量应用基于日志服务进行二次开发,如阿里集团所有大型 Trace 系统底层都使用日志服务。


演讲提纲


1、介绍阿里云 10PB +/天日志系统如何运转


  • 核心功能介绍

  • 支持的场景和解决的问题


2、系统解决的核心技术难点


性能和成本


  • PB 级索引系统设计思路


多租户下稳定性实现


  • 流量秒级流控、防穿透

  • 自动负载均衡

  • 资源动态分配和隔离


系统管理


  • 百万级的客户端如何管理、监控、问题自助定位

  • 应用管理


3、面向运维场景的高级功能介绍


  • 基于机器学习的时序数据智能诊断和预测

  • 超大规模日志实时智能聚类


4、应用实践


  • 阿里内部基于日志服务构建系统实践


听众受益点


  1. 了解生产环境下 10( PB +/天)日志系统的设计和实现,以及在这背后的思考

  2. 了解系统如何稳定支持上万应用

  3. 了解如何基于日志数据进行智能运维,以及阿里内部应用实践


讲师介绍


孙廷韬(龙悟)


阿里云 高级技术专家


阿里云高级技术专家,负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务,提供日志数据采集、智能查询分析、消费与投递等功能,全面提升海量日志处理/分析能力。在阿里集团,覆盖百万服务器,上万应用,单日采集数据超过 10PB,为数千工程师提供简单易用的日志分析服务。












完整演讲 PPT 下载链接


https://archsummit.infoq.cn/2019/shenzhen/schedule


2019-08-13 00:006614

评论

发布
暂无评论
发现更多内容

Hadoop05【命令操作】

爱好编程进阶

Java 程序员 后端开发

TASKCTL分布式任务调度平台-流程控制原理

敏捷调度TASKCTL

程序员 DevOps 分布式 大数据运维 TASKCTL

我是如何做到百万数据跑批半小时结束

skow

后端 java

JAVA为什么需要注解?

源字节1号

如何开发 LAXCUS 分布式应用软件(二):基本构成

LAXCUS分布式操作系统

集群架构 并行计算 分布式操作系统 分布式应用

CGBTN2110-DAY07总结复习

爱好编程进阶

Java 程序员 后端开发

Dropzone

爱好编程进阶

Java 程序员 后端开发

Flink与Spark Streaming在与kafka结合的区别!

爱好编程进阶

Java 程序员 后端开发

GC:你要用什么方式把我丢掉?

爱好编程进阶

Java 程序员 后端开发

Hadoop 3

爱好编程进阶

Java 程序员 后端开发

C++std命名空间和头文件详解

爱好编程进阶

Java 程序员 后端开发

十年磨一剑|沃趣数据库云产品战略首发

沃趣科技

云原生 公有云 私有云 数据库云 沃趣科技

时序数据库为万物互联打下坚实的基石

华为云开发者联盟

数据仓库 物联网 时序数据库 GaussDB 时序数据

数据增强(一):imgaug

AIWeker

人工智能 深度学习 数据增强 5月月更

Docker:第二章:部署项目

爱好编程进阶

Java 程序员 后端开发

秒云助力上海金融信息技术应用创新联合攻关基地正式上线信创容器云平台

MIAOYUN

云原生 信创 智能运维 一云多芯解决方案

Day308

爱好编程进阶

Java 程序员 后端开发

七大章节解读「中台」的前世今生

菜根老谭

中台 中台架构

Dubbo的超时和重试

爱好编程进阶

Java 程序员 后端开发

GitHub上最牛逼的Java教程,标星yyds:算法

爱好编程进阶

Java 程序员 后端开发

Github标星28K+,这款可视化的对象存储服务真香

爱好编程进阶

Java 程序员 后端开发

大数据培训HBase读写性能优化的详解

@零度

大数据 HBase

Byte和bit

爱好编程进阶

Java 程序员 后端开发

GitHub成功收获87

爱好编程进阶

Java 程序员 后端开发

ICT架构体系详细说明【3】

爱好编程进阶

程序员 后端开发

直播预告丨Hello HarmonyOS进阶课程第二课——计算机视觉

HarmonyOS开发者

HarmonyOS 图形图像 视觉开发

Swoole 定时器能实现毫秒级任务调度,你敢相信吗?

CRMEB

案例分享|一键式自动监测,跨境电商平台的业务转型模板

博睿数据

博睿数据 数据链DNA

火山引擎入选“2022 中国边缘计算20强”榜单

火山引擎边缘云

边缘计算

跨端跨框架 UI 自动化测试方案 Flybirds

liang chen

Github上都在疯找的阿里内部“全栈技能修炼”终于来了

爱好编程进阶

Java 程序员 后端开发

阿里10PB+天日志系统设计和实现_ArchSummit_孙廷韬(龙悟)_InfoQ精选文章