写点什么

Java 火焰图在 Netflix 的实践

  • 2015-08-04
  • 本文字数:1672 字

    阅读完需:约 5 分钟

为了分析不同软件或软件的不同版本使用 CPU 的情况,相关设计人员通常需要进行函数的堆栈性能分析。相比于定期采样获得数据的方式,利用定时中断来收集程序运行时的 PC 寄存器值、函数地址以及整个堆栈轨迹更加高效。目前, OProfile gprof SystemTap 等工具都是采用该方法,给出详细的 CPU 使用情况报告。然而,这些工具在处理复杂的统计数据时,给出的报告往往过于繁杂、不够直观、不能直接反应分析员所需要的数据。为此,Brendan Gregg 开发了专门把采样到的堆栈轨迹(Stack Trace)转化为直观图片显示的工具—— Flame Graph(火焰图)。但是,由于分析器与 JDK 环境等原因,Java 程序的混合模式火焰图之前无法生成。近期,Brendan Gregg 和 Martin Spier 发现了一种解决该问题的方法,在 Netflix 内部进行了实践,并贡献了一篇非常详尽的实践性文章。为Java 程序的性能分析提供了极大便利。接下来,本文就从该问题出现的原因开始,简要介绍其解决该问题的思路和方法。

首先,本文对火焰图的概念进行简要介绍。火焰图既是一个开源工具,也是一种类型的图片。作为一个二维图片,火焰图的X 轴代表采样总量,而Y 轴代表栈深度。每个框就代表了一个栈里的函数,其宽度代表了所占用的CPU 总时间。因此,比较宽的框就表示该函数运行时间较慢或被调用次数较多,从而占用的CPU 时间多。通过火焰图,相关设计或分析人员就可以轻松观察到各个应用占用CPU 的情况。

但是,火焰图本身并不具备性能检测的能力。它需要其他性能分析工具的协助。在Java 环境中,一共有两种类型的堆栈轨迹采样分析器——系统分析器(System Profiler)和JVM 分析器(JVM Profiler)。前者(如Linux 的 Perf Events )可以分析系统代码路径,包括 libjvm internal、GC 和内核,但并不能分析 Java 方法;后者(如 HPROF 、轻量级 Java 分析器和其他商业分析器)可以显示 Java 方法,但不能显示系统代码路径。由此可见,这两种方法都不能同时支持系统代码路径和 Java 方法的堆栈轨迹。而分别描述二者的火焰图又不能很好的满足需求。因此,Brendan 等人一直关注如何解决该问题。

在之前的一次讨论中,Brendan 曾经对系统分析器不能显示Java 方法的原因进行分析。这包括两个方面——JVM 编译方法时比较快,没有为系统分析器暴露一个符号表;JVM 采用x86 上的frame pointer 作为一个通用寄存器,破坏了传统的stack walking。那么,解决之前的问题,就需要分别从这两个方面入手。对于第一个方面,Java 和Linux 系统的分析器进行了双方面的努力。首先,Java 开始支持利用开源的JVMTI 代理 perf-map-agent 来创建 perf-PID.map 文本文件。该文件列举了 16 进制的符号地址、大小以及符号名称。然后,从 2009 年以后,Linux 中的 Perf_events 工具添加了对 JIT 符号的支持。该工具会检查 /tmp/perf-PID.map 文件,从而完成对来自语言虚拟机的符号进行检查。对于第二个方面,JVM 添加了一个新的选项 -XX:+PreserveFramePointer。经过 Zoltán、Oracle 和其他工程师的努力,最新的 JDK9 JDK8 已经增加了该选项,从而保存了 stack walking。

在两方面的问题都解决之后,用户只要经过安装 Perf Events、新版 JDK、perf-map-agent 以及 FlameGraph 等软件和配置 Java(尤其是打开 -XX:+PreserveFramePointer 选项)的步骤后,就可以产生系统级的火焰图了。为了让产生火焰图的流程自动化,Brendan 等人已经开始基于开源的实例化分析工具 Vector 进行流程的建模。

未来,Breden 等人还计划进行很多工作。其一是通过自动化收集不同日期的差分火焰图进行规则分析。这有助于迅速理解软件变化所导致的 CPU 使用率变化。此外,他们还试图利用 Perf Events 进行磁盘 IO、网络、调度以及内存分配等用户和内核级的事件记录和分析。最后,对火焰图和 Vector 进行实时更新等改进也是未来考虑增加的功能。


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-08-04 06:518734
用户头像

发布了 268 篇内容, 共 128.1 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

周期补数据、定时补数据,深入了解两种补数据的特殊方式

袋鼠云数栈

大数据

淘宝商品评论接口API:获取淘宝商品评论数据评论总数(支持排序)

tbapi

淘宝API接口 淘宝商品评论接口 淘宝商品评论数据 淘宝商品评论API

好用的 NTFS 磁盘管理器NTFS Disk by Omi NTFS for mac

Rose

苹果apple音乐制作软件:Logic Pro X for Mac v10.8.1中文版

Rose

【永久破解版】MAMP PRO (本地Web服务器开发环境) mac&win

Rose

大促高并发系统性能优化实战--京东联盟广告推荐系统

京东科技开发者

ETL数据集成丨将SQL Server数据同步至Oracle的具体实现

RestCloud

数据库 oracle ETL 数据集成 SQL Server

KubeCon China 2024 | KubeEdge 邀您共话边云协同AI智算

华为云原生团队

云计算 容器 云原生

万界星空科技服装行业MES系统解决方案

万界星空科技

工业互联网 制造业 服装行业 mes 万界星空科技

mac触摸板增强工具BetterTouchTool下载 附BetterTouchTool注册码

Rose

Charles for Mac注册激活版:轻松地捕获分析修改HTTP、HTTPS和TCP流量

Rose

万界星空科技AI低代码MES,引领制造业智能化新潮流

万界星空科技

低代码 低代码平台 mes 万界星空科技 低代码云MES

打造领域专属的大语言模型

霍格沃兹测试开发学社

再升级!MoneyPrinterPlus集成GPT_SoVITS

程序那些事

工具 AIGC

传智教育引通义灵码进课堂,为技术人才教育学习提效

阿里巴巴云原生

阿里云 云原生 通义灵码

SwitchResX for Mac 轻松调整苹果电脑显示器配置参数

Rose

按图搜索的精准营销:基于拍立淘API返回值的用户画像

技术冰糖葫芦

API Explorer API 接口 API 测试 API】

当系统闹脾气:用「因果推断」哄稳技术的心

京东科技开发者

变“金点子”为“好应用”,合合信息智能文档处理技术助力大学生探索AI创新边界

合合技术团队

人工智能 科技 比赛 合合信息

Go语言中使用 sqlx 来操作 MySQL

左诗右码

Go 语言

传智教育引通义灵码进课堂,为技术人才教育学习提效

阿里云云效

阿里云 云原生 通义灵码

Clicker for YouTube mac版 YouTube视频播放器客户端

Rose

高效的AirPods耳机管理工具 AirBuddy for Mac v2.6.3汉化版

Rose

「重构:改善既有代码的设计」实战篇

京东科技开发者

面试官:说说volatile应用和实现原理?

王磊

智能搜索,Paste for Mac让你快速找到需要的剪切板内容!

Rose

Java火焰图在Netflix的实践_Java_张天雷_InfoQ精选文章