QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

Java 火焰图在 Netflix 的实践

  • 2015-08-04
  • 本文字数:1672 字

    阅读完需:约 5 分钟

为了分析不同软件或软件的不同版本使用 CPU 的情况,相关设计人员通常需要进行函数的堆栈性能分析。相比于定期采样获得数据的方式,利用定时中断来收集程序运行时的 PC 寄存器值、函数地址以及整个堆栈轨迹更加高效。目前, OProfile gprof SystemTap 等工具都是采用该方法,给出详细的 CPU 使用情况报告。然而,这些工具在处理复杂的统计数据时,给出的报告往往过于繁杂、不够直观、不能直接反应分析员所需要的数据。为此,Brendan Gregg 开发了专门把采样到的堆栈轨迹(Stack Trace)转化为直观图片显示的工具—— Flame Graph(火焰图)。但是,由于分析器与 JDK 环境等原因,Java 程序的混合模式火焰图之前无法生成。近期,Brendan Gregg 和 Martin Spier 发现了一种解决该问题的方法,在 Netflix 内部进行了实践,并贡献了一篇非常详尽的实践性文章。为Java 程序的性能分析提供了极大便利。接下来,本文就从该问题出现的原因开始,简要介绍其解决该问题的思路和方法。

首先,本文对火焰图的概念进行简要介绍。火焰图既是一个开源工具,也是一种类型的图片。作为一个二维图片,火焰图的X 轴代表采样总量,而Y 轴代表栈深度。每个框就代表了一个栈里的函数,其宽度代表了所占用的CPU 总时间。因此,比较宽的框就表示该函数运行时间较慢或被调用次数较多,从而占用的CPU 时间多。通过火焰图,相关设计或分析人员就可以轻松观察到各个应用占用CPU 的情况。

但是,火焰图本身并不具备性能检测的能力。它需要其他性能分析工具的协助。在Java 环境中,一共有两种类型的堆栈轨迹采样分析器——系统分析器(System Profiler)和JVM 分析器(JVM Profiler)。前者(如Linux 的 Perf Events )可以分析系统代码路径,包括 libjvm internal、GC 和内核,但并不能分析 Java 方法;后者(如 HPROF 、轻量级 Java 分析器和其他商业分析器)可以显示 Java 方法,但不能显示系统代码路径。由此可见,这两种方法都不能同时支持系统代码路径和 Java 方法的堆栈轨迹。而分别描述二者的火焰图又不能很好的满足需求。因此,Brendan 等人一直关注如何解决该问题。

在之前的一次讨论中,Brendan 曾经对系统分析器不能显示Java 方法的原因进行分析。这包括两个方面——JVM 编译方法时比较快,没有为系统分析器暴露一个符号表;JVM 采用x86 上的frame pointer 作为一个通用寄存器,破坏了传统的stack walking。那么,解决之前的问题,就需要分别从这两个方面入手。对于第一个方面,Java 和Linux 系统的分析器进行了双方面的努力。首先,Java 开始支持利用开源的JVMTI 代理 perf-map-agent 来创建 perf-PID.map 文本文件。该文件列举了 16 进制的符号地址、大小以及符号名称。然后,从 2009 年以后,Linux 中的 Perf_events 工具添加了对 JIT 符号的支持。该工具会检查 /tmp/perf-PID.map 文件,从而完成对来自语言虚拟机的符号进行检查。对于第二个方面,JVM 添加了一个新的选项 -XX:+PreserveFramePointer。经过 Zoltán、Oracle 和其他工程师的努力,最新的 JDK9 JDK8 已经增加了该选项,从而保存了 stack walking。

在两方面的问题都解决之后,用户只要经过安装 Perf Events、新版 JDK、perf-map-agent 以及 FlameGraph 等软件和配置 Java(尤其是打开 -XX:+PreserveFramePointer 选项)的步骤后,就可以产生系统级的火焰图了。为了让产生火焰图的流程自动化,Brendan 等人已经开始基于开源的实例化分析工具 Vector 进行流程的建模。

未来,Breden 等人还计划进行很多工作。其一是通过自动化收集不同日期的差分火焰图进行规则分析。这有助于迅速理解软件变化所导致的 CPU 使用率变化。此外,他们还试图利用 Perf Events 进行磁盘 IO、网络、调度以及内存分配等用户和内核级的事件记录和分析。最后,对火焰图和 Vector 进行实时更新等改进也是未来考虑增加的功能。


感谢徐川对本文的审校。

给InfoQ 中文站投稿或者参与内容翻译工作,请邮件至 editors@cn.infoq.com 。也欢迎大家通过新浪微博( @InfoQ @丁晓昀),微信(微信号: InfoQChina )关注我们,并与我们的编辑和其他读者朋友交流(欢迎加入 InfoQ 读者交流群)。

2015-08-04 06:518697
用户头像

发布了 268 篇内容, 共 127.1 次阅读, 收获喜欢 24 次。

关注

评论

发布
暂无评论
发现更多内容

阿里云重磅发布业务中台产品 BizWorks,中台发展进入下一个阶段

阿里巴巴云原生

阿里云 云原生 业务中台 云栖大会 BizWorks

Java开发究竟该如何学习,年末阿里百度等大厂技术面试题汇总,程序员翻身之路

Java 程序员 后端

模块一作业

心怀架构

Java技术基础知识总结,菜鸟教程mysql,Java重要知识点

Java 程序员 后端

Java排序算法面试,黑马java项目一,springboot实战项目源码

Java 程序员 后端

Java开发面试基础,牛客网客户端,【面试总结】

Java 程序员 后端

Java开发面试题!牛客网java开发高频面试题,让我成功在寒冬中站稳脚步

Java 程序员 后端

Java开发自学技巧!极客学院百度云资源,2021最新Java笔试题目

Java 程序员 后端

Java开发还会吃香吗,Java微服务架构从入门到精通

Java 程序员 后端

Java教程百度云最新版,java写脚本教程视频,程序员必须要了解的知识点

Java 程序员 后端

Java开发自学教程!尚学堂java,我被面试官绝地反杀了

Java 程序员 后端

云栖收官:想跟远道而来的朋友们说

阿里巴巴云原生

云原生 云栖大会 收官 致谢

Java教程视频百度网盘,小甲鱼数据结构百度云,腾讯Java面试题

Java 程序员 后端

Java开发还不会这些,极客学院和黑马,进阶学习工作最全指南

Java 程序员 后端

Java开发面经分享,springboot项目案例百度云,实战篇

Java 程序员 后端

Java开发经验谈,linux视频教程百度网盘,逆袭面经分享

Java 程序员 后端

Java开发者跳槽指,牛客网算法初级班,春招我借这份PDF的复习思路

Java 程序员 后端

Java开发视频教程,linux使用教程,BIO和NIO有啥区别

Java 程序员 后端

Java开发面试基础,java架构师全套百度网盘,Java基础面试重点

Java 程序员 后端

Java微服务架构图,nginx视频教程百度云,学习指南

Java 程序员 后端

Java性能优化最佳实践,mybatis入门视频

Java 程序员 后端

Java数据处理的常用技术,springboot源码解读与原理分析

Java 程序员 后端

Java开发核心知识笔记共2100页,如何保证Redis与数据库的双写一致性

Java 程序员 后端

Java开发经典实战!自学java教程百度云盘,阿里程序员的Java之路

Java 程序员 后端

第1周作业

波波

「架构实战营」

Java开发者跳槽面试,尚硅谷java课程,netty框架面试题

Java 程序员 后端

Java技术成长,kafka学习教程,Java开发者面试如何系统复习

Java 程序员 后端

Java教程百度云最新版,极客时间vip年卡,Java开发者面试如何系统复习

Java 程序员 后端

Java数据结构面试题,java架构师指南下载百度,Java工程师面试题及答案

Java 程序员 后端

Java开发经验的有效总结,以商品超卖为例讲解Redis分布式锁

Java 程序员 后端

Java开发者应该会哪些东西才不会被公司淘汰,美团Java面试

Java 程序员 后端

Java火焰图在Netflix的实践_Java_张天雷_InfoQ精选文章