写点什么

走完线上 Bug 定位最后一公里

  • 2021-04-26
  • 本文字数:3049 字

    阅读完需:约 10 分钟

走完线上 Bug 定位最后一公里

一个小故事

周末 12 点的闹钟在回龙观均价 3000 的出租屋急促的响起,程序员小 A 慵懒的拿过手机,滑开手机通知栏,没有未接电话,点开手机的拦截信箱,没有报警短信,昨晚的发布一定很顺利。小 A 幸福的伸了个懒腰。戴上 3000 块的 BeatsSolo Pro,音乐逐渐响起来,小 A 缓缓的闭上了眼睛,正午的阳光从窗户漫进来,撒在小 A 稀疏的头发上。此时的小 A 正在脑海中勾勒着自己美好的未来。房东说:十年前住在这间屋的小 B,现在已经是某度的 T10 大佬,五年前住在这儿的小 T,现在已经在某条带领 200 人的团队,想到这儿,小 A 的嘴角微微上扬,那我也一定不会太差吧~


嘀嘀..耳机里传来两声消息提示音,小 A 心里咯噔一声,刺骨的寒意弥漫开来,北京三月的阳光突然就不暖了。小 A 用力的微微睁开双眼,通知栏测试同学小 C 的头像一闪而过。


xx 线上 BUG 紧急修复群:


小 C: “@小 A 昨晚上线的代码好像有点有问题,来公司看下?我在公司等你。”


点开群设置,老板的头像赫然在列。


怀着愧疚、徘徊、悔恨、无奈、愤怒的心情,小 A 翻身穿上他在路边买的价值 20 元的人字拖,坐上了前往西二旗的地铁十号线。


不久,西二旗某办公室传来了亘古不变的对话,“这段代码测试过,在我电脑上没问题啊”、"你重启下试试"、“是不是代码没上线”、“是不是谁把我代码冲掉了”、“你们测试数据是不是有问题呀”……于是一个下午过去了、一个晚上过去了、一个周末过去了、一个程序员的青春过去了、一个程序员本就不长的职业生涯过去了。

一个小总结

上面这个虚构的小故事只是想说明一个简单的现象,程序员的很多时间被线上 bug fix 占据。因为线上线下环境不一致、输入输出不一等等原因,很多 bug 定位起来效率低下,耗时巨长,导致很多时候程序员遇到线上 bug 总是头疼不已,不由自主的想要甩锅给外在因素,在确定是自己的问题的时候再排查问题。那么线上问题排查到底难在哪儿?首先来看看我们排查线上问题的一个基本步骤,这个步骤一般是排查大多数线上问题的步骤。


步骤 1:找到能复现问题的输入;

步骤 2:判断该输入能否在日常环境构造, 如果能,调到步骤 5。如果不能,继续步骤 3;

步骤 3:查看线上环境日志,看能否找到异常输入相关的异常日志,辅助排查问题;

步骤 4:初步推断问题原因,尝试修复并加上更多日志输出。然后打包、发布。重复步骤 3 直到定位根因;

步骤 5:日常构造相同输入,单点调试,定位问题;


实际的场景中,因为线上线下环境隔离的问题,线上的输入很多时候难以在日常环境中构造,大多数时候我们都在步骤 2、3、4 中循环,于是时间就在循环中慢慢的流逝了。


上面做这么多步骤其实对于查问题而言就是希望可以知道当某段代码执行不符合预期的时候,这段代码的输入是什么,输出是什么,抛出了什么异常,以及代码中每一行的具体执行情况。那么是否有一款产品可以让用户方便快捷的实现这个目标呢?答案是有的。

聊一聊 ARMS

阿里云的应用实时监控服务 ARMS 是一款应用性能管理(APM)产品,包含应用监控、Prometheus 监控和前端监控三大子产品,涵盖分布式应用、容器环境、浏览器、小程序、APP 等领域的性能管理,能帮助用户实现全栈式性能监控和端到端全链路追踪诊断。


ARMS 最新推出了 Arthas 诊断功能,其第一个版本主要包含四个能力,分别是 JVM 概览、线程耗时分析、方法执行分析以及性能分析。


  • JVM 概览:查看实时的 JVM 内存、GC 信息以及操作系统信息、环境变量、系统变量等信息。

  • 线程耗时分析:查看实时的线程耗时情况,并可查看每个线程实时的方法堆栈。

  • 方法执行分析:实时的抓取满足指定条件的方法执行明细、出入参数以及异常。

  • 性能分析:快捷的通过火焰图的的形式,展示系统性能瓶颈。


ARMS 的 Arthas 功能使用起来也比较简单,详情可参照文档(https://help.aliyun.com/document_detail/204809.html)。下面来简单聊一聊如何利用 ARMS 的 Arthas 诊断能力来进行线上问题的定位。

聊一聊 ARMS Arthas 诊断

上一节简单介绍了 ARMS 的 Arthas 诊断具备的能力,那么用这些能力能解决哪些线上问题呢?在这里,我们对线上问题进行了一个归纳总结,将其分为下面四类问题:


  • 方法执行不符合预期:包括方法执行耗时、方法返回值、方法抛出了异常等情况,表现在应用上可能是一些接口或者服务的 RT 增高,错误率增高,返回值异常等。

  • 进程 CPU 耗时突增:一般有代码死循环问题、FullGC 导致 GC 线程耗时高、并发使用 HashMap 等。

  • 性能优化问题:主要用于分析性能瓶颈,辅助性能优化,包括 CPU 耗时、内存分配、锁竞争、itimer 等情况的性能分析。

  • 其他问题:比如初始化环境变量读取错误、内核版本不符合要求、类冲突等问题。


下面就以一个实际的 demo 来演示如何利用 ARMS 的 Arthas 执行不符合预期这种问题的诊断,后续的文章会继续介绍如何利用 Arthas 进行其他类型问题的诊断。

利用 ARMS Arthas 诊断方法执行不符合预期类问题

问题背景:product 应用的 com.alibabacloud.hipstershop.productserviceapi.service.ProductService@confirmInventory   接口某次发布后平均 RT 到达 400,发布以前的平均 RT 在 1ms 以下,如下图所示。现在想定位耗时具体耗在哪儿。 

图 1


首先,进入 ARMS Arthas 诊断的页面。当我们进行 Bug 定位的时候,首先需要知道出问题的类名和方法名,按照图示截图中的红色注释输入相应的类名和方法名。如果你是 EDAS(https://help.aliyun.com/document_detail/42934.html)用户,可直接选择一个服务或者接口,后台会自动推断相应的实现类和方法。对应到本案例,对应的类是 com.alibabacloud.xxx.xxx.xxx.ProductService,方法是 confirmInventory。填写完毕后点击确定。


图 2


如下图所示,点击确定后可以得到 confirmInventory 方法执行的纪录,包含执行的入参,返回值异常以及方法执行明细。

图 3


但是这次执行的耗时 2.89 ms,不是我们预期中的一次耗时高调用。此时,可点击右上角修改诊断参数,设定抓取耗时大于 300ms 的方法调用(除此以外还可以设置更多的过滤条件,包括方法参数满足的条件等等,具体可查看文档https://help.aliyun.com/document_detail/204809.html)


图 4


点击确定后,点击右上角刷新图标再次诊断,这次抓取到一次耗时 1501ms 的方法调用,发现原来是在该方法的执行过程中,执行了 Thread.sleep() 方法。

图 5


到这里,你可能还会好奇,为什么会执行 sleep 方法呢?这块代码的逻辑是怎样的呢?点击右上角查看方法源码,一目了然的将方法源码与方法执行明细相结合。如下图所示,confirmInventory 方法中执行的每一次方法调用最后会以“//-”为前缀展示该方法执行的耗时情况。

图 6


此外,你还可以点击图 5 ,列表最右侧的操作列的下钻,快捷的进一步分析 confirmInventory 调用的子方法的执行情况。这在根因比较深的场景下十分方便好用。


至此,完成了我们这个问题的一个定位演示。


相信 ARMS 的 Arthas 诊断功能一定给你留下了深刻的印象,也一定会成为您线上问题诊断的利器,帮助您更快更方便的诊断线上故障。

写在最后

快速免费体验 ARMS 功能:https://arms.console.aliyun.com/


此外,企业级分布式应用服务 EDAS K8s(https://help.aliyun.com/document_detail/199295.html) 作为一款一体化的产品,既具备了应用的托管能力,也集成了 ARMS 的监控诊断能力,同样可以体验 ARMS 的 Arthas 诊断功能,可根据您目前的实际情况选择一款产品来体验 ARMS 的 Arthas 诊断能力。

备注:上述功能目前仅对部署在 K8s 为集群中的 Java 应用有效,后续会支持部署的 ECS 上的 Java 应用。


本文转载自:阿里巴巴中间件(ID:Aliware_2018)

原文链接:走完线上 Bug 定位最后一公里

2021-04-26 13:003271

评论 1 条评论

发布
用户头像
『西二旗某办公室传来了亘古不变的对话』,作者对此如此熟悉,之前坑完西二旗的、现在又去坑望京了?
纠正下:回龙观到西二旗是13号线哈!干啥都得下点真功夫(含沙射影也是),否则让人觉得你只会耍耍嘴皮子、让人瞧不起。
2021-04-27 09:16
回复
没有更多了
发现更多内容

京东JD商品详情API返回值揭秘:精准掌握商品信息

技术冰糖葫芦

API 编排 API boy API 策略 pinduoduo API

通义灵码实战系列:一个新项目如何快速启动,如何维护遗留系统代码库?

阿里云云效

阿里云 云原生 通义灵码

神经网络极简入门

EquatorCoco

人工智能 神经网络 网络协议

Sermant在异地多活场景下的实践

华为云开源

开源 微服务 云原生 服务治理 sermant

开发体商融合:提升体育赛事直播平台发展新路径

软件开发-梦幻运营部

AI 001 号员工通义灵码入职阿里云丨阿里云云原生 4 月产品月报

阿里巴巴云原生

阿里云 AI 云原生

博睿数据将出席ClickHouse Hangzhou User Group第1届 Meetup

博睿数据

生成式AI的「七宗罪」!

脑极体

AI

谷歌确认:链接并不那么重要

九凌网络

SQL事前巡检插件

京东零售技术

sql 企业号 5 月 PK 榜 #SQL

财务世界中数据叙事对于企业决策的影响力

智达方通

企业管理 全面预算 财务管理 数据叙事

CCE云原生混部场景下的测试案例

不在线第一只蜗牛

云原生

生成式AI的「七宗罪」!

白洞计划

AI

教你用Perl实现Smgp协议

快乐非自愿限量之名

Linux 电信

破茧成蝶,展翅翱翔——行云乔迁,再启新程!

行云管家

行云管家 行云 乔迁

Jira Server 不维护了,如何将 Jira 平滑迁移到阿里云云效

阿里云云效

阿里云 云原生 云效

GLM国产大模型训练加速:高效性能与成本优化的实践

百度开发者中心

人工智能 深度学习 大模型

阿里巴巴中国站关键字搜索API返回值全攻略:精准定位所需商品

技术冰糖葫芦

API 编排 API boy API】 pinduoduo API

使用 jps 命令查看Java进程

带双筷子🥢去旅行

Java虚拟机

一款自研的热门AI产品-帝阅DeepRead

Baird

AI 产品开发 大模型

企业怎样进行IT外包以及IT外包服务内容

Ogcloud

IT IT外包 IT外包公司 IT外包服务 IT外包服务商

AI绘图新选择:Fooocus工具发布,小显存助力大模型运行

百度开发者中心

人工智能 Ai绘图

Databend 开源周报第 143 期

Databend

软件测试学习笔记丨后端接口开发 - MyBatis 增删改查

测试人

软件测试

观测云 VS ELK:谁是日志监控的王者?

观测云

ELK 日志分析

通义灵码实战系列:一个新项目如何快速启动,如何维护遗留系统代码库?

阿里巴巴云原生

阿里云 云原生 通义灵码

Jira Server 不维护了,如何将 Jira 平滑迁移到阿里云云效

阿里巴巴云原生

阿里云 云原生 云效

大营销抽奖系统,DDD开发要如何建模?

不在线第一只蜗牛

部署 LangServe 应用到 AWS

Jade@pluto-lang

AI AWS 教程 langchain Pluto

走完线上 Bug 定位最后一公里_架构_阿里巴巴中间件_InfoQ精选文章