HarmonyOS开发者限时福利来啦!最高10w+现金激励等你拿~ 了解详情
写点什么

云平台 Linux 服务器问题场景分析思路及工具箱

  • 2019-05-04
  • 本文字数:2641 字

    阅读完需:约 9 分钟

云平台 Linux 服务器问题场景分析思路及工具箱

前言

本文主要结合笔者在苏宁云平台支撑工作中的实践,以基于经验切实有效的判定分析方式贯穿, 整理了云平台 Linux 服务器(下文中区分了物理机及虚拟机)运维中的常见问题场景、分析工具箱及判别思路。主要包含以下三部分:


  1. Linux 服务器 CPU、I/O、内存性能异常的常用工具、判定标准、以及分析思路。

  2. Linux 服务器异常宕机的故障可能的原因、定位方法与常规分析思路。

  3. Linux 服务器丢包的问题可能的原因、定位方法与常规分析思路。


读者范围:中高级 linux 服务器运维人员


注:本文结合问题图景枚举了各个 tool 与分析关联较大的参数及用法,以起到一个示例说明,各工具的详细用法需要自行阅读研习 man 手册。

Linux 服务器 CPU、I/O、内存性能异常

CPU 异常


图 1 CPU 异常分解

top

top -H -d 1 -c
高亮列及运行进程 z x y选择 shift+L/Rarrow
复制代码

pidstat

• -d 磁盘读写报告 I/O 统计


• -r 内存使用及缺页


• -u CPU


• -l 展示命令行及参数


• -w switch


• -t 显示线程的统计


• -T


每秒展示活动进程的CPU使用率pidstat -u 1按线程组关系聚合展示CPU消耗时间,帮助找出busy 线程pidstat  -t 1 -T ALL
复制代码

sar

• -b 块统计


• -B 页面


• -r 页面使用统计


• -R 页面回收统计


• -d 磁盘使用统计


• -q 调度统计


• -S swap


• -m 运行频率


• -v 文件 inode dentry 活动统计


• -w 调度 switch


• -W 换入换出统计


• -n 网络 DEV, EDEV, NFS, NFSD, SOCK, IP, EIP, ICMP, EICMP, TCP, ETCP, UDP, SOCK6, IP6, EIP6, ICMP6, EICMP6 and UDP6


• -s 00:00:00 -e 00:21:00 指明要查看的开始结束时间

iotop

iostat

Nmon 分析 NMON Visulizar

NMON Visulizar 是来自于 IBM 的 Nmon 可视化分析工具

sysrq

开启开关echo 1 > /proc/sys/kernel/sysrq打印进程堆栈echo t > /proc/sysrq-triggereg.如果已经softlockup 且业务影响已然明显,停业务后用下面命令产生一个vmcoreecho c > /proc/sysrq-trigger
复制代码

strace

• -c 统计系统调用次数及时间


• -f 也 trace 子进程调用


• -e 指明关心的调用 eg. -e open,write


eg:


命令执行时挂起,了解进程挂在哪个syscallstrace cmd arg进程系统调用开销较大,获取syscall统计strace -p PID -c
复制代码

gdb

• bt 查看执行堆栈


• frame 切换工作帧


用户进程的cpu消耗影响系统整体使用,配合debuginfo及代码可大致梳理出占用逻辑,attach后,进程会STOPgdb -p PID
复制代码

perf

perf top 在线采样及展示:


• -e 指明事件,默认是 cycle,全部时间可 perf list 查询


• -G 调用图


• -F 采样频率


• -d 刷新间隔


• -p 特定进程


• -C 特定核


perf top -d1 -G -F 99 -zshift + e 可展开堆栈视图shift + c 可折叠堆栈视图
复制代码


perf record/report


• record 输出采样文件 perf.data 文件


• report 解析


perf record -F 99 -a -g -p PID -C 6 sleep 5perf report
复制代码

内存异常


图 2 内存异常分解

一般检查

free
cat /proc/self/statuscat /proc/self/smaps
numastat -m
numactl --hardware
cat /proc/meminfo
复制代码

zoneinfo

cat /proc/zoneinfo |egrep "zone|min|low|high|free|present"....Node 0, zone   Normal  pages free     3195167        min      13740        low      17175        high     20610        present  3361280    nr_free_pages 3195167              high:  186              high:  186
复制代码

三条水线

sysctl -a|grep extra_free_kbytes min_free_kbytes extra_free_kbytes 的组合值构成三个水线。


• 直接回收线 MIN min_free_kbytes


• 后台回收线 LOW 5/4*min_free_kbytes + extra_free_kbytes


• 后台回收停止 HIGH 3/2 * min_free_kbytes + extra_free_kbytes

物理页面情况


Node 0, zone DMA 2 2 1 1 1 0 1 0 1 1 3 Node 0, zone DMA32 730 596 414 339 277 214 159 127 85 68 557 Node 0, zone Normal 447 558 348 166 72 45 1021 888 607 252 2661
复制代码

内核结构缓冲

slabtop了解当前内核数据结构内存消耗
复制代码

I/O 异常


图 3 I/O 异常分解

io scheduler

cfq deadline noop

blktrace & blkparser

当意外的 I/O 延迟发生,需要深入了解 I/O 延迟分布,需要使用 blktrace & blkparser 工具进行细致分析。

dd

学会合理使用 oflag 标志 sync 同步刷出数据 direct 绕过 pagecache。

fio

用来标定系统 I/O 能力的便捷工具:


fio -filename=/dev/mapper/vg_os-testlv  -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=8k -size=100G -numjobs=96 -runtime=60 -group_reporting -name=mytest
复制代码

du & df

面向块占用及文件系统占用的查询分析:


strace 可以看出两个命令原理的差异:df 读取文件系统信息,du stat 各个文件然后累加。


两者出入较大需进一步考察:是否存在空洞?是否一个文件用户已经看不到但是文件系统还没有真正删除?(就是打开文件被删除的情况  lsof +L1)是否被某些挂载点隐藏了之前的目录文件?df 显示错误的话怀疑是否fs损坏?
复制代码

网络异常场景


图 4 网络异常分析

ethtool

ethtool -S关注drop  error 
复制代码

tc 统计检查

tc -s -d qd关注包drop情况
复制代码

ss netstat iftop

常用连接查看netstat -ntpnetstat -ntplss -ie
复制代码

tcpdump

• -i 待抓取的网口名字


• -w 抓包文件,可以是时间格式化串


• -G 回滚时长,单位秒


• -c 抓取多少个包后退出


• -s 抓取部分报文,单位字节


• -r 读取抓包文件离线分析


• -z 调用 gzip 等工具做压缩


• -Z 切换 user 运行,默认是 tcpdump


• -B 设置 buf 大小,不然抓不全单位 KB 10240


eg.
tcpdump tcp port 80 and host tcpdump -s0 -w %m_%d_%H_%M_%S.pcap -G 5 -z gzip -Z root -c 100000 -i any
复制代码

宕机场景分析


图 5 宕机场景分析

dropwatch

crash 工具

• log 查看宕机关联日志


• bt 查看宕机位置


• sys 查看基本信息


crash  vmcore  vmlinuxvmlinux 来自于kernel debuginfo包,是带调试信息的二进制内核镜像
如果系统未正确生成vmcore, 需检查 /etc/kdump.conf 配置及其中的设定vmcore 路径此处讨论已开始涉及内核态问题,常见异常分析领域不再展开
复制代码

总结

本文场景化地总结了云平台几类常见的 Linux 服务器异常分析思路及 toolset, 篇幅所限无法面面俱到,但如开篇提到,真正的快速有效的问题判别定位离不开对系统领域的熟悉与细致缜密的判断,以场景化方式灵活地运用好工具箱,达到由表及里、由浅入深的理解系统,快速高效解决线上问题。




作者简介


谢英豪,苏宁科技集团云平台中心高级工程师,长期耕耘于 Linux 内核及操作系统的支撑领域,保障苏宁云环境线上海量 KVM Server Farm 的稳定高效运行。


2019-05-04 11:005657

评论 2 条评论

发布
用户头像
写得还挺像样的
2019-05-05 10:12
回复
用户头像
收藏了!!
2019-05-04 21:47
回复
没有更多了
发现更多内容

在 Postman 中设置和使用 Mock Server

Liam

程序员 前端 Postman Mock MockServer

依赖Windows环境的CAD/CAE/CAM等软件如何在信创环境下过渡使用?

点量实时云渲染

信创 云桌面 云渲染 实时云渲染 国产信创

大模型和传统ai的区别

悦数图数据库

RAR Extractor Max for Mac - 轻松解压,高效管理

iMac小白

数据可视化与低代码开发应用:开启智能时代新篇章

快乐非自愿限量之名

低代码 数据可视化

Cheetah3D for mac(3D渲染建模软件)v8.1激活版

iMac小白

Cheetah3D注册机 Cheetah3D 8新功能 Cheetah3D8下载 Cheetah3D破解版

IT外包能在企业上云时提供什么帮助?

Ogcloud

IT IT外包 IT外包公司 IT外包服务 IT外包服务商

浅析MySQL代价模型:告别盲目使用EXPLAIN,提前预知索引优化策略

京东零售技术

后端 MySQL、

@Async异步失效的9种场景

不在线第一只蜗牛

Java JVM 异步 开发语言

XSKY SDS 6.4 重磅更新:NFS 性能飙升 3 倍,对象多站点等 10 多项功能强势升级

XSKY星辰天合

对象存储 软件定义存储 XSKY 星辰天合

SecureFX for Mac - 远程文件管理的首选工具

iMac小白

SecureFX下载 SecureFX破解版

「活动预告」PolarDB走进青岛,邀请您一起畅游琴岛山海春韵,共话数据生态创新

阿里云数据库开源

数据库 阿里云 开源 Polar polarDB

HTTPS 是如何进行安全传输的 ?

EquatorCoco

https 哈希算法 密钥

智能商品计划系统:引领未来零售业的革新之路

第七在线

京东按关键字搜索商品API(jd.item_search)返回值全面解析

技术冰糖葫芦

API 编排 API 文档 API 策略 pinduoduo API

AIGC技术的力量:探索其原理与应用的无限可能

EquatorCoco

人工智能 AIGC

【论文速读】|针对模糊驱动生成的提示性模糊测试

云起无垠

ETL工具中JSON格式的转换方式

RestCloud

json 数据处理 ETL

ExpressScribe PRO for Mac(易于使用的专业转录软件)v13.11注册激活版

iMac小白

Express Scribe下载 Express Scribe注册版 Express Scribe激活版

分布式数据库有哪几种

悦数图数据库

图数据库

Analyzing Efficiency:QCN6224 vsQCN6274 WiFi7 chipset

wallyslilly

程序员必备的7大神器,效率飞起!

秃头小帅oi

SD-WAN实现全球应用加速

Ogcloud

SD-WAN 企业网络 SD-WAN组网 SD-WAN服务商 SDWAN

低代码与云原生的技术解析:赋能企业数字化转型

不在线第一只蜗牛

云原生 低代码

活动预告 | 5月16日 Streaming Lakehouse Meetup · Online 与你相约!

Apache Flink

大数据 flink

一键自动化博客发布工具,用过的人都说好(阿里云篇)

程序那些事

工具 程序那些事 自动发布

对C语言符号的一些冷门知识运用的剖析和总结

快乐非自愿限量之名

C# C语言

Kafka 业务日志采集最佳实践

观测云

kafka 日志分析

华为云开发者桌面全新发布CodeArts IDE for Python,极致优雅云原生开发体验

华为云PaaS服务小智

ide 软件开发 华为云

美国站群服务器租用攻略:选择稳定高效的多站点管理服务

一只扑棱蛾子

站群服务器

云平台 Linux 服务器问题场景分析思路及工具箱_开源_谢英豪_InfoQ精选文章