阿里10PB+天日志系统设计和实现_ArchSummit_孙廷韬(龙悟)_InfoQ精选文章

阿里10PB+天日志系统设计和实现

在ArchSummit深圳2019大会上，孙廷韬(龙悟)讲师做了《阿里 10PB+/天日志系统设计和实现》主题演讲，主要内容如下。

演讲简介：

阿里云日志服务作为阿里集团底层日志平台，提供完善易用的数据采集方案，PB 级数据实时索引和分析能力，在阿里集团被广泛应用，数千工程师直接使用日志服务进行日常问题排查，也有大量应用基于日志服务进行二次开发，如阿里集团所有大型 Trace 系统底层都使用日志服务。

演讲提纲：

1、介绍阿里云 10PB +/天日志系统如何运转

核心功能介绍
支持的场景和解决的问题

2、系统解决的核心技术难点

性能和成本

PB 级索引系统设计思路

多租户下稳定性实现

流量秒级流控、防穿透
自动负载均衡
资源动态分配和隔离

系统管理

百万级的客户端如何管理、监控、问题自助定位
应用管理

3、面向运维场景的高级功能介绍

基于机器学习的时序数据智能诊断和预测
超大规模日志实时智能聚类

4、应用实践

阿里内部基于日志服务构建系统实践

听众受益点：

了解生产环境下 10( PB +/天)日志系统的设计和实现，以及在这背后的思考
了解系统如何稳定支持上万应用
了解如何基于日志数据进行智能运维，以及阿里内部应用实践

讲师介绍：

孙廷韬(龙悟)

阿里云高级技术专家

阿里云高级技术专家，负责阿里云日志服务架构设计和实现。日志服务是针对实时数据一站式服务，提供日志数据采集、智能查询分析、消费与投递等功能，全面提升海量日志处理/分析能力。在阿里集团，覆盖百万服务器，上万应用，单日采集数据超过 10PB，为数千工程师提供简单易用的日志分析服务。

完整演讲 PPT 下载链接：

https://archsummit.infoq.cn/2019/shenzhen/schedule

评论

发布

暂无评论

新闻报道与文学创作的未来

百度开发者中心

人工智能文心一言千帆大模型平台

离散型行业与MES系统——密不可分的关系

万界星空科技

MES系统离散制造业解决方案