blk-mq-sysfs.c生成了一些其他的nvme的統計項，

有多少個online的cpu，在驅動加載的時候會默認生成多少個隊列，除非內存不足或者在保留內核中，則會減少。

[root@localhost mq]# ls
0 10 12 14 16 18 2 21 23 25 27 29 30 32 34 36 38 4 41 43 45 47 49 50 52 54 56 58 6 61 63 65 67 69 70 72 74 76 78 8
1 11 13 15 17 19 20 22 24 26 28 3 31 33 35 37 39 40 42 44 46 48 5 51 53 55 57 59 60 62 64 66 68 7 71 73 75 77 79 9

隨便進入一個隊列，可以看到如下的打印：

[root@localhost mq]# cd 0 [root@localhost 0]# ls active cpu0 cpu_list dispatched pending queued run tags

比如我們要查看nvme3這個設備的io提交情況：

?for i in {0..79} ;do echo $i"cpu";cat /sys/block/nvme3n1/mq/$i/dispatched|awk 'NR==2{print}';done

0cpu1 394956 1cpu1 374817 2cpu1 331803 3cpu1 305250 4cpu1 315251 5cpu1 311434 6cpu1 304236 7cpu1 1180365-----------------可以看到，這個值比其他的隊列偏高 8cpu1 317816 9cpu1 324039 10cpu1 301696 11cpu1 308175 12cpu1 308011 13cpu1 311117 14cpu1 302730 15cpu1 307697 16cpu1 310814 17cpu1 303113 18cpu1 304176 19cpu1 291003 20cpu1 429206 21cpu1 395612 22cpu1 352658 23cpu1 324926 24cpu1 322888 25cpu1 317867 26cpu1 307749 27cpu1 318038 28cpu1 315220 29cpu1 316902 30cpu1 314553 31cpu1 327750 32cpu1 323689 33cpu1 310986 34cpu1 319291 35cpu1 313652 36cpu1 329242 37cpu1 318131 38cpu1 314649 39cpu1 317828 40cpu1 304262 41cpu1 271454 42cpu1 233083 43cpu1 225090 44cpu1 216841 45cpu1 204718 46cpu1 210182 47cpu1 208971 48cpu1 200567 49cpu1 216085 50cpu1 205207 51cpu1 206309 52cpu1 225562 53cpu1 206230 54cpu1 205445 55cpu1 212910 56cpu1 223439 57cpu1 218819 58cpu1 201218 59cpu1 213536 60cpu1 323561 61cpu1 295333 62cpu1 256412 63cpu1 232104 64cpu1 222467 65cpu1 216440 66cpu1 223645 67cpu1 222626 68cpu1 223895 69cpu1 218320 70cpu1 221901 71cpu1 229034 72cpu1 227548 73cpu1 219187 74cpu1 216212 75cpu1 207302 76cpu1 227482 77cpu1 213950 78cpu1 209072 79cpu1 219765

由于我們是一個核一個隊列，且按照nvme的io提交策略，在那個cpu上提交的io，在配置了rq_affinity為2的情況下，則肯定在那個cpu

上完成，這樣的話，偏高的那個cpu的iowait將會比其他的盤要高，因為它接受的提交次數最多。

對于應用來說，一般使用nvme的時候都進行了綁核，這樣，找出對應綁核的線程，可以strace出它為什么提交的io次數偏多。

0cpu? ? ? ?13949561cpu? ? ? ?13748172cpu? ? ? ?13318033cpu? ? ? ?13052504cpu? ? ? ?13152515cpu? ? ? ?13114346cpu? ? ? ?13042367cpu? ? ? ?111803658cpu? ? ? ?13178169cpu? ? ? ?132403910cpu? ? ? ?130169611cpu? ? ? ?130817512cpu? ? ? ?130801113cpu? ? ? ?131111714cpu? ? ? ?130273015cpu? ? ? ?130769716cpu? ? ? ?131081417cpu? ? ? ?130311318cpu? ? ? ?130417619cpu? ? ? ?129100320cpu? ? ? ?142920621cpu? ? ? ?139561222cpu? ? ? ?135265823cpu? ? ? ?132492624cpu? ? ? ?132288825cpu? ? ? ?131786726cpu? ? ? ?130774927cpu? ? ? ?131803828cpu? ? ? ?131522029cpu? ? ? ?131690230cpu? ? ? ?131455331cpu? ? ? ?132775032cpu? ? ? ?132368933cpu? ? ? ?131098634cpu? ? ? ?131929135cpu? ? ? ?131365236cpu? ? ? ?132924237cpu? ? ? ?131813138cpu? ? ? ?131464939cpu? ? ? ?131782840cpu? ? ? ?130426241cpu? ? ? ?127145442cpu? ? ? ?123308343cpu? ? ? ?122509044cpu? ? ? ?121684145cpu? ? ? ?120471846cpu? ? ? ?121018247cpu? ? ? ?120897148cpu? ? ? ?120056749cpu? ? ? ?121608550cpu? ? ? ?120520751cpu? ? ? ?120630952cpu? ? ? ?122556253cpu? ? ? ?120623054cpu? ? ? ?120544555cpu? ? ? ?121291056cpu? ? ? ?122343957cpu? ? ? ?121881958cpu? ? ? ?120121859cpu? ? ? ?121353660cpu? ? ? ?132356161cpu? ? ? ?129533362cpu? ? ? ?125641263cpu? ? ? ?123210464cpu? ? ? ?122246765cpu? ? ? ?121644066cpu? ? ? ?122364567cpu? ? ? ?122262668cpu? ? ? ?122389569cpu? ? ? ?121832070cpu? ? ? ?122190171cpu? ? ? ?122903472cpu? ? ? ?122754873cpu? ? ? ?121918774cpu? ? ? ?121621275cpu? ? ? ?120730276cpu? ? ? ?122748277cpu? ? ? ?121395078cpu? ? ? ?120907279cpu? ? ? ?1219765

?

轉載于:https://www.cnblogs.com/10087622blog/p/8065424.html

總結

以上是生活随笔為你收集整理的linux的nvme驱动需要关心的统计项的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。