Linux问题分析与性能优化
目錄
排查順序
方法論
性能分析工具
CPU分析思路
內(nèi)存分析思路
IO分析思路
網(wǎng)絡(luò)分析思路
基準(zhǔn)測試工具
參考
排查順序
整體情況：
top/htop/atop命令查看進(jìn)程/線程、CPU、內(nèi)存使用情況，CPU使用情況；
dstat 2查看CPU、磁盤IO、網(wǎng)絡(luò)IO、換頁、中斷、切換，系統(tǒng)I/O狀態(tài);
vmstat 2查看內(nèi)存使用情況，內(nèi)存狀態(tài)；
iostat -d -x 2查看所有磁盤的IO情況，系統(tǒng)I/O狀態(tài)；
iotop查看IO靠前的進(jìn)程，系統(tǒng)的I/O狀態(tài)；
perf top查看占用CPU最多的函數(shù)，CPU使用情況；
perf record -ag -- sleep 15;perf report查看CPU事件占比，調(diào)用棧，CPU使用情況；
sar -n DEV 2查看網(wǎng)卡的吞吐，網(wǎng)卡狀態(tài)；
/usr/share/bcc/tools/filetop -C查看每個文件的讀寫情況，系統(tǒng)的I/O狀態(tài)；
/usr/share/bcc/tools/opensnoop顯示正在被打開的文件，系統(tǒng)的I/O狀態(tài)；
mpstat -P ALL 1 單核CPU是否被打爆；
ps aux --sort=-%cpu?按CPU使用率排序，找出CPU消耗最多進(jìn)程；
?ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB? %s\n",s[n],n}' | sort -nr | head -20?統(tǒng)計前20內(nèi)存占用；
awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB ?%s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20??統(tǒng)計內(nèi)核前20slab的占用；
進(jìn)程分析，進(jìn)程占用的資源：
pidstat 2 -p 進(jìn)程號查看可疑進(jìn)程CPU使用率變化情況；
pidstat -w -p 進(jìn)程號 2查看可疑進(jìn)程的上下文切換情況；
pidstat -d -p 進(jìn)程號 2查看可疑進(jìn)程的IO情況；
lsof -p 進(jìn)程號查看進(jìn)程打開的文件；
strace -f -T -tt -p 進(jìn)程號顯示進(jìn)程發(fā)起的系統(tǒng)調(diào)用；
協(xié)議棧分析，連接/協(xié)議棧狀態(tài)：
ethtool -S?查看網(wǎng)卡硬件情況；
cat?/proc/net/softnet_stat/ifconfig eth1 查看網(wǎng)卡驅(qū)動情況；
netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n查看連接狀態(tài)分布；
ss -ntp或者netstat -ntp查看連接隊列；
netstat -s 查看協(xié)議棧情況；
?
方法論
RED方法：監(jiān)控服務(wù)的請求數(shù)（Rate）、錯誤數(shù)（Errors）、響應(yīng)時間（Duration）。Weave Cloud在監(jiān)控微服務(wù)性能時提出的思路。
USE方法：監(jiān)控系統(tǒng)資源的使用率（Utilization）、飽和度（Saturation）、錯誤數(shù)（Errors）。
性能分析工具
Linux 內(nèi)核的各個子系統(tǒng)出發(fā)，匯總了對各個子系統(tǒng)進(jìn)行性能分析時，你可以選擇的工具。不過，雖然這個圖是性能分析最好的參考資料之一，它其實還不夠具體。比如，當(dāng)你需要查看某個性能指標(biāo)時，這張圖里對應(yīng)的子系統(tǒng)部分，可能有多個性能工具可供選擇。但實際上，并非所有這些工具都適用，具體要用哪個，還需要你去查找每個工具的手冊，對比分析做出選擇。
CPU分析思路
首先，從 CPU 的角度來說，主要的性能指標(biāo)就是 CPU 的使用率、上下文切換以及 CPU Cache 的命中率等。下面這張圖就列出了常見的 CPU 性能指標(biāo)。
內(nèi)存分析思路
接著我們來看內(nèi)存方面。從內(nèi)存的角度來說，主要的性能指標(biāo)，就是系統(tǒng)內(nèi)存的分配和使用、進(jìn)程內(nèi)存的分配和使用以及 SWAP 的用量。下面這張圖列出了常見的內(nèi)存性能指標(biāo)。
IO分析思路
從文件系統(tǒng)和磁盤 I/O 的角度來說，主要性能指標(biāo)，就是文件系統(tǒng)的使用、緩存和緩沖區(qū)的使用，以及磁盤 I/O 的使用率、吞吐量和延遲等。下面這張圖列出了常見的 I/O 性能指標(biāo)。
網(wǎng)絡(luò)分析思路
從網(wǎng)絡(luò)的角度來說，主要性能指標(biāo)就是吞吐量、響應(yīng)時間、連接數(shù)、丟包數(shù)等。根據(jù) TCP/IP 網(wǎng)絡(luò)協(xié)議棧的原理，我們可以把這些性能指標(biāo)，進(jìn)一步細(xì)化為每層協(xié)議的具體指標(biāo)。這里我同樣用一張圖，分別從鏈路層、網(wǎng)絡(luò)層、傳輸層和應(yīng)用層，列出了各層的主要指標(biāo)。
基準(zhǔn)測試工具
除了性能分析外，很多時候，我們還需要對系統(tǒng)性能進(jìn)行基準(zhǔn)測試。比如，
在文件系統(tǒng)和磁盤 I/O 模塊中，我們使用 fio 工具，測試了磁盤 I/O 的性能。
在網(wǎng)絡(luò)模塊中，我們使用 iperf、pktgen 等，測試了網(wǎng)絡(luò)的性能。
而在很多基于 Nginx 的案例中，我們則使用 ab、wrk 等，測試 Nginx 應(yīng)用的性能。
參考
相當(dāng)一部分內(nèi)容來自極客時間出品的倪鵬飛專欄《Linux性能優(yōu)化》, 這是之前這個專欄的學(xué)習(xí)筆記。
另一份資料是IBM紅寶書Linux性能調(diào)優(yōu)指南。
此外，The Linux Documentation Project是一個非常好的資料庫。
將硬件中斷的處理任務(wù)分配個多個CPU：SMP affinity and proper interrupt handling in Linux
Hidden Costs of Memory Allocation
https://www.lijiaocn.com/soft/linux/
- END -
看完一鍵三連在看，轉(zhuǎn)發(fā)，點(diǎn)贊
是對文章最大的贊賞，極客重生感謝你
推薦閱讀
如何分析常見的TCP問題？
網(wǎng)絡(luò)排障全景指南手冊v1.0精簡版pdf
云網(wǎng)絡(luò)丟包故障定位全景指南
硬核分析|騰訊云原生OS內(nèi)存回收導(dǎo)致關(guān)鍵業(yè)務(wù)抖動問題
一個奇葩的網(wǎng)絡(luò)問題，把技術(shù)磚家"搞蒙了"
總結(jié)
以上是生活随笔為你收集整理的Linux问题分析与性能优化的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 【送书福利8本】YYDS《剑指Offer
- 下一篇： Linux网络子系统