【原创】谈谈线上CPU100%排查套路

引言

不知道在大家面试中，有没有遇到这个问题

生产服务器上部署了几个java程序，突然出现了CPU100%的异常告警，你如何定位出问题呢？

这个问题分为两版回答！

高调版

对不起，我是做研发的，这个问题在生产上是不可能遇见的！因为研发是不可能直接操作生产服务器，如果贵公司研发能遇到这个问题，应该要反思一下自己的权限控制是否合理！

面试官心里活动

：装13是不是，赶紧走！

低调版

这个问题我在生产上没碰到过，因为我们是没法直接操作生产环境的。只能说，在测试环境曾经遇见过。操作步骤如下，balabala...

面试官心里活动

：权限控制的不错，应该是在大厂呆过。

下面开始我们的正文

正文

下面给出两种系统环节下的排查步骤，都是一模一样的，只是命令稍有区别！

查消耗cpu最高的进程Pid
根据Pid查出消耗cpu最高的线程号
根据线程号查出对应的java线程，进行处理。

准备一行死循环代码

public class TestFor {         public static void main(String[] args) {             int random = 0;             while (random < 100) {                 random = random * 10;             }         }     }

怎么跑，应该不用我说了，直接教大家怎么查！

Windows版

可能有人有疑问，我为什么要说

Windows

版的！因为，我曾经给很多政府部门做过系统。我发现他们用的是

Windows Server

，不是

Linux

系统。所有必要说一下！

查消耗Cpu最高的进程PID

手边没有

Windows Server

机器，我以

Win 10

为例，截图给大家看一下，先调出

PID

显示项！

然后发现进程

PID

如下图所示，为

接下来呢

根据PID查出消耗Cpu最高的线程号

这里用到微软的工具Process Explorer v16.22，地址如下

https://docs.microsoft.com/zh-cn/sysinternals/downloads/process-explorer

如图所示

发现最耗

Cpu

的线程的

TID

为

这是十进制的数据，转成十六进制为

0x19d8

根据线程号查出对应的java线程，进行处理

执行命令

jstack -l 10856 > c:/10856.stack

打开文件

c:/10856.stack

，搜索

19d8

，如下图所示

根据文件就可以看出，我们的

TestFor.java

文件第七行一直在跑，至此定位到问题

Linux版

Linux版本，步骤是一模一样的，就是命令换了一下

执行 top -c ，显示进程运行信息列表。按下P,进程按照Cpu使用率排序

如下图所示，

PID

的进程耗费

Cpu

最高

根据Pid查出消耗Cpu最高的线程号

top -Hp 3033 ，显示一个进程的线程运行信息列表。按下P,进程按照Cpu使用率排序

PID

的线程耗费Cpu最高

0Xbda

jstack -l 3033 > ./3033.stack

然后执行，grep命令，看线程

0xbda

做了什么

cat 3033.stack |grep 'bda' -C 8

输出如下

至此定位到问题

总结

大家记得一定要去实际操作一次！

作者：孤独烟

出处： http://rjzheng.cnblogs.com/

本文版权归作者和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。如果觉得还有帮助的话，可以点一下右下角的【推荐】。