之前開發(fā)的抓包模塊上線后有客戶反饋有丟包問題，這兩天在定位這個丟包問題，抓包模塊由我和另一名“隊友”負責，我負責底層抓包開發(fā)，他負責接收處理。在測試丟包問題的時候，他遇到一個板子連不上的情況，問我咋回事，剛好看到了log打印一行，

[27468.016028] BUG: soft lockup - CPU#1 stuck for 22s! [hagnatsd:1782] HELLO! BOOT0 is starting! boot0 version : 4.0.0 rtc[1] value = 0x00010000

一看就是內(nèi)核軟鎖死，然后系統(tǒng)重啟了。這個問題比較嚴重，如果模塊有問題不影響系統(tǒng)運行還算小事，但系統(tǒng)掛了那就算大事了。當時也是一頭霧水，用了那么久，怎么突然跑出來這樣的問題。看問題應該是代碼里面原子鎖的使用問題，導致系統(tǒng)鎖死，代碼比較多，一時半會兒又走讀不過來，于是就嘗試復現(xiàn)這個問題。瞎搞了兩個小時，?功夫不負有心人 (⊙＿⊙)?，終于又出現(xiàn)了一次, 同樣是鎖死

[ 688.008033] BUG: soft lockup - CPU#0 stuck for 22s! [quickstart:2532] [ 723.231005] INFO: rcu_preempt self-detected stall on CPU [ 723.232008] INFO: rcu_preempt detected stalls on CPUs/tasks: { 0} (detected by 3, t=60002 jiffies) [ 723.232024] INFO: Stall ended before state dump start [ 723.231005] Backtrace for cpu 0 (current): [ 723.231005] [ 723.231005] sending IPI to all other CPUs: [ 723.265047] IPI backtrace for cpu 2 [ 723.266009] IPI backtrace for cpu 1 [ 723.271893] IPI backtrace for cpu 3 [ 723.273107] IPI backtrace for cpu 5 [ 723.266009] IPI backtrace for cpu 7 [ 723.266009] IPI backtrace for cpu 6 [ 723.295307] IPI backtrace for cpu 4 [ 760.144028] BUG: soft lockup - CPU#4 stuck for 22s! [swapper/4:0] [ 787.618047] CIFS VFS: Server 172.25.1.90 has not responded in 120 seconds. Reconnecting... [ 903.236006] INFO: rcu_preempt self-detected stall on CPU [ 903.237012] INFO: rcu_preempt detected stalls on CPUs/tasks: { 0} (detected by 6, t=240007 jiffies) [ 903.237028] INFO: Stall ended before state dump start [ 903.236006] Backtrace for cpu 0 (current): [ 903.236006]

于是分析了自己的操作步驟，將代碼流程分開，一步一步測試，最終問題定位到一處代碼BUG, 程序走到死循環(huán)導致外部的讀寫鎖無法釋放，修改后得以解決。

總結(jié)經(jīng)驗就是平常遇到這類問題一定要重視，千萬不要放過，就算不能解決也要找boss聊一聊其它方案。不然等到了客戶那邊問題會更大，而且不在現(xiàn)場更不方便調(diào)試。其次就是仔細分析問題產(chǎn)生現(xiàn)象，嘗試重現(xiàn)問題，再結(jié)合具體的代碼流程分析，類似這種軟鎖死問題基本上就是自身代碼邏輯問題，仔細走讀代碼，分析代碼流程 一步一步測試，最終定位問題根源才會徹底解決問題。

=============================================================================================

Linux應用程序、內(nèi)核、驅(qū)動、后臺開發(fā)交流討論群(745510310)，感興趣的同學可以加群討論、交流、資料查找等，前進的道路上，你不是一個人奧^_^。
?

《新程序員》：云原生和全面數(shù)字化實踐50位技術專家共同創(chuàng)作，文字、視頻、音頻交互閱讀

總結(jié)

以上是生活随笔為你收集整理的遇到“BUG: soft lockup - CPU#0 stuck for 22s”的解决思路的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。