写点什么

Netflix Log4J 优化大规模日志记录

  • 2012-12-10
  • 本文字数:785 字

    阅读完需:约 3 分钟

经过 Netflix 内部优化的 log4j 版本——Blitz4j已经发布到Github 。与其他更传统的日志技术相比,Blitz4j 能够在大规模并发和流量拥挤的环境下高效生成日志,而且消耗的资源更少。这是通过重写log4j 中可能发生同步和死锁的代码部分实现的。

Netflix 对 log4J 的修改包括:

  1. 移除所有关键的同步,使用并发数据结构。
  2. 为内存缓冲区和工作线程提供强大的配置能力。
  3. 使用执行者池模型替换等待 - 通知模型,进一步隔离应用程序线程和日志线程。
  4. 通过可配置的摘要信息在日志高峰期更好地处理日志消息。

Netflix 宣称,使用 Blitz4j 时每秒钟记录 300 到 500 行日志的开销至少降低了75% ,同步相关的处理器使用峰值也完全消失了。现在,即使在高使用量和高日志量的情况下,应用程序也能在一个可接受的时间内做出响应。

随着交易量和每个实例日志需求的增加,Netflix 注意到log4j 消耗的资源越来越多,延缓了它所记录的进程的速度。因为对log4j 的大量投入,他们难以下定决心转移到像LogBack 这样不同的日志技术;相反,他们选择了重写log4j,为无阻塞和异步的日志进行了定制。 Log4j 框架并没有太大的变动;只有影响伸缩性的地方做了修改。

Netflix 的 Karthikeyan Ranganathan 认为,对于刚起步的项目而言 Blitz4j 可能并不是最好的选择。LogBack 是 log4j 团队开发的一个产品,它解决了 Netfliex 团队所关心的很多问题。在这方面,没有使用传统 log4j 框架或者基于slf4j 构建的项目应该考虑使用LogBack 而不是Blitz4j。但是对于在log4j 上有大量投入的公司而言,Blitz4j 是能够记录因特网规模日志的正确选择。

英文原文地址 Netflix Log4J Optimizations Yield Logging at Massive Scale


感谢臧秀涛对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ )或者腾讯微博( @InfoQ )关注我们,并与我们的编辑和其他读者朋友交流。

2012-12-10 07:324100
用户头像

发布了 321 篇内容, 共 118.9 次阅读, 收获喜欢 19 次。

关注

评论

发布
暂无评论
发现更多内容

低代码开发助力企业数字化转型:简化流程、提高效率

快乐非自愿限量之名

低代码 数字化

开发电竞赛事直播平台源码解决方案:企业与创业者的新商机

软件开发-梦幻运营部

Flink 流批一体场景应用及落地情况

Apache Flink

flink 实时计算 流批一体

Serato DJ套件 Serato DJ Pro mac破解版

理理

功能强大的媒体文件播放器软件Elmedia Player for Mac

理理

Netflix 机器学习科学家的提示词优化经验分享

Baihai IDP

程序员 AI 白海科技 LLMs 企业号 6 月 PK 榜

夯实网络底座:智能云解析助推新基建发展再上新台阶

国科云

适合所有编程初学者,豆瓣评分8.6的Python入门手册开放下载!

我再BUG界嘎嘎乱杀

Python 后端 入门 开发语言 零基础

Serial for Mac v2.0.17激活版 帮助Mac用户管理和控制串口设备

理理

MacOS平台上好用的虚拟音频设备 Loopback mac直装版

理理

苹果电脑自定义风扇配置文件Macs Fan Control Pro for mac

理理

macos10.14系统下载:MacOS Mojave v10.14.6(18G103)正式版

你的猪会飞吗

Mac 软件 Mac 系统

端口占用多:UE4/UE5像素流送云推流时如何优化端口使用?

点量实时云渲染

实时云渲染 云渲染平台 3D实时云渲染 像素流送 像素流送技术

开山之作!Python数据与算法分析手册,登顶GitHub!

我再BUG界嘎嘎乱杀

Python 后端 数据结构与算法 开发语言

数据驱动工业 AI :EMQ 参加 2024 中控全球新品发布会

EMQ映云科技

emq

iShot for Mac(优秀免费的长截图标注工具)v2.4.5中文正式版

Rose

关于LDO,读懂这一篇就够了

梦笔生花

LDO 电源

腾讯云大数据TBDS数据湖荣获IDC金融领域最佳实践案例

腾讯云大数据

TBDS

司南大模型竞技场首期榜单:GLM-4系列模型稳坐国内前列,智谱AI大模型实力强悍

技术研究院

26岁的“天才少年”,带队面壁打通高效大模型之路

Alter

Axure RP10汉化版 交互式原型设计解决方案

理理

人工智能技术的视频增强工具 Topaz Video AI

Rose

数字化转型的关键:全面探索低代码开发平台的实际应用

不在线第一只蜗牛

低代码 数字化

Visio Viewer mac版 对visio文件进行编辑、跳转参数等设置

理理

mac窗口快速切换工具AltTab for Mac中文版

Rose

ImageExifEditor for mac 最方便的图像查看和编辑元数据

Rose

Creative Cloud Mac(adobe acc)v6.10最新版

理理

Netflix Log4J 优化大规模日志记录_Java_Harry Brumleve_InfoQ精选文章