來源：https://www.cnblogs.com/maxzhang1985/p/12673160.html

一、發現問題

在一次系統上線后，我們發現某幾個節點在長時間運行后會出現CPU持續飆升的問題，導致的結果就是Kubernetes集群的這個節點會把所在的Pod進行驅逐(調度)；如果調度到同樣問題的節點上，也會出現Pod一直起不來的問題。我們嘗試了殺死Pod后手動調度的辦法(label)，當然也可以排除調度節點。但是在一段時間后還會復現，我們通過監控系統也排查了這段時間的流量情況，但應該和CPU持續占用沒有關聯，這時我們意識到這可能是程序的問題。

二、排查問題

定位Pod

這里使用kubectl top pods 命令確定CPU占用最高的pods都是哪些。

kubectl -n app top pods

因為問題已解決，以上圖片只是舉個例子。

排查工具

Arthas

我們這邊使用了阿里的Arthas ，它是Alibaba開源的Java診斷工具。當你遇到以下類似問題而束手無策時，Arthas可以幫助你解決：

這個類從哪個 jar 包加載的？為什么會報各種類相關的 Exception？

我改的代碼為什么沒有執行到？難道是我沒 commit？分支搞錯了？

遇到問題無法在線上 debug，難道只能通過加日志再重新發布嗎？

線上遇到某個用戶的數據處理有問題，但線上同樣無法 debug，線下無法重現！

是否有一個全局視角來查看系統的運行狀況？

有什么辦法可以監控到JVM的實時運行狀態？

怎么快速定位應用的熱點，生成火焰圖？

排查問題

定位到有問題的Pod后,使用kubectl exec進入Pod容器內部：

kubectl -n app exec -it 49a89b2f-73c6-40ac-b6de-c6d0e47ace64-5d489d9c48qwc7t -- /bin/bash

在容器中下載Arthas

wget https://arthas.gitee.io/arthas-boot.jar

由于我們打包鏡像中只有一個服務，所以一個Pod中也只有一個進程； 這里 1 是指PID。

java -jar arthas-boot.jar 1

執行進程看板 dashboard：

[arthas@1]$ dashboard

這里上半區顯示了線程內容，我們可以看到哪個線程ID的對應情況：

比如從上面得到了線程ID，使用如下命令進入線程，如ID 12262：

[arthas@1]$ thread -n 12262

打印出線程日志：

[arthas@1]$ thread -n 12262"com.alibaba.nacos.client.Worker.addr-bj-internal.edas.aliyun.com-7362814c-538b-4c26-aa07-1fd47765a145" Id=20190 cpuUsage=7% TIMED_WAITING on java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject@d30d0a4e (in native) at sun.misc.Unsafe.park(Native Method) - waiting on java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject@d30d0a4e at java.util.concurrent.locks.LockSupport.parkNanos(LockSupport.java:215) at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.awaitNanos(AbstractQueuedSynchronizer.java:2078) at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:1093) at java.util.concurrent.ScheduledThreadPoolExecutor$DelayedWorkQueue.take(ScheduledThreadPoolExecutor.java:809) at java.util.concurrent.ThreadPoolExecutor.getTask(ThreadPoolExecutor.java:1074) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1134) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:813)

三、解決問題

經過了排查定位到了問題，最后經過社區和阿里云伙伴的協助，發現了這個是Nacos 2.0.0.RELEASE的一個BUG。我們對Nacos客戶端版本進行了升級，經過測試后，問題解決了。也加深了對Kubernetes集群調試的能力 [加油]。

com.alibaba.cloud spring-cloud-starter-alibaba-nacos-discovery 2.0.1.RELEASE

四、最后

通過社區和阿里云的幫助，問題成功解決。在工具方面，阿里提供的Arthas，真的是線上環境調試神器！

總結

以上是生活随笔為你收集整理的json.tojsonstring 导致cpu飙高_阿里调试神器立功了!进程导致Kubernetes节点CPU飙高的排查与解决...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。