Linux Used内存到底哪里去了？
原創(chuàng)文章，轉(zhuǎn)載請注明：?轉(zhuǎn)載自系統(tǒng)技術(shù)非業(yè)余研究
本文鏈接地址:?Linux Used內(nèi)存到底哪里去了？
前幾天 純上 同學(xué)問了一個問題：
我ps aux看到的RSS內(nèi)存只有不到30M，但是free看到內(nèi)存卻已經(jīng)使用了7,8G了，已經(jīng)開始swap了，請問ps aux的實(shí)際物理內(nèi)存統(tǒng)計(jì)是不是漏了哪些內(nèi)存沒算？我有什么辦法確定free中used的內(nèi)存都去哪兒了呢？
這個問題不止一個同學(xué)遇到過了，之前子嘉同學(xué)也遇到這個問題，內(nèi)存的計(jì)算總是一個迷糊賬。 我們今天來把它算個清楚下!
通常我們是這樣看內(nèi)存的剩余情況的：
那么這個信息是如何解讀的呢，以下這個圖解釋的挺清楚的！
補(bǔ)充（不少人反映圖不清晰，請參考：http://www.redbooks.ibm.com/redpapers/pdfs/redp4285.pdf P46-47)
上面的情況下我們總的內(nèi)存有48262M，用掉了7913M。 其中buffer+cache總共14+267=281M, 由于這種類型的內(nèi)存是可以回收的，雖然我們用掉了7913M，但是實(shí)際上我們?nèi)绻麑?shí)在需要的話，這部分buffer/cache內(nèi)存是可以放出來的。
我們來演示下：
我們把buffer/cache大部分都清除干凈了，只用了44M，所以我們這次used的空間是7676M。
到現(xiàn)在我們比較清楚幾個概念：
1. 總的內(nèi)存多少
2. buffer/cache內(nèi)存可以釋放的。
3. used的內(nèi)存的概率。
即使是這樣我們還是要繼續(xù)追查下used的空間（7637M)到底用到哪里去了？
這里首先我們來介紹下nmon這個工具，它對內(nèi)存的使用顯示比較直觀。
使用的內(nèi)存的去向我們很自然的就想到操作系統(tǒng)系統(tǒng)上的各種進(jìn)程需要消耗各種內(nèi)存，我們透過top工具來看下：
通常我們會看進(jìn)程的RES這一項(xiàng)，這項(xiàng)到底是什么意思呢？這個數(shù)字從哪里出來的呢？ 通過strace對top和nmon的追蹤和結(jié)合源碼，我們確定這個值是從/proc/PID/statm的第二個字段讀取出來的.
那這個字段什么意思呢？
man proc或者h(yuǎn)ttp://www.kernel.org/doc/man-pages/online/pages/man5/proc.5.html 會詳細(xì)的解釋/proc/下的文件的具體意思，我們摘抄下：
/proc/[pid]/statm
Provides information about memory usage, measured in pages. The
columns are:
size total program size
(same as VmSize in /proc/[pid]/status)
resident resident set size
(same as VmRSS in /proc/[pid]/status)
share shared pages (from shared mappings)
text text (code)
lib library (unused in Linux 2.6)
data data + stack
dt dirty pages (unused in Linux 2.6)
resident set size 也就是每個進(jìn)程用了具體的多少頁的內(nèi)存。由于linux系統(tǒng)采用的是虛擬內(nèi)存，進(jìn)程的代碼，庫，堆和棧使用的內(nèi)存都會消耗內(nèi)存，但是申請出來的內(nèi)存，只要沒真正touch過，是不算的，因?yàn)闆]有真正為之分配物理頁面。
我們實(shí)際進(jìn)程使用的物理頁面應(yīng)該用resident set size來算的，遍歷所有的進(jìn)程，就可以知道所有的所有的進(jìn)程使用的內(nèi)存。
我們來實(shí)驗(yàn)下RSS的使用情況：
從數(shù)字來看，我們的進(jìn)程使用了大概7024M內(nèi)存，距離7637M還有幾百M(fèi)內(nèi)存哪里去了？ 哪里去了？ 貓吃掉了？
我們再回頭來仔細(xì)看下nmon的內(nèi)存統(tǒng)計(jì)表。
那個該死的slab是什么呢？ 那個PageTables又是什么呢？
簡單的說內(nèi)核為了高性能每個需要重復(fù)使用的對象都會有個池，這個slab池會cache大量常用的對象，所以會消耗大量的內(nèi)存。運(yùn)行命令：
$ slabtop
我們可以看到：
從圖我們可以看出各種對象的大小和數(shù)目，遺憾的是沒有告訴我們slab消耗了多少內(nèi)存。
我們自己來算下好了：
好吧，把每個對象的數(shù)目*大小，再累加，我們就得到了總的內(nèi)存消耗量:904M
那么PageTables呢？ 我們?nèi)f能的內(nèi)核組的同學(xué)現(xiàn)身了：
伯瑜:
你還沒有計(jì)算page tables的大小，還有struct page也有一定的大小（每個頁一個,64bytes），如果是2.6.32的話，每個頁還有一個page_cgroup(32bytes)，也就是說內(nèi)存大小的2.3%(96/4096)會被內(nèi)核固定使用的
含黛:
struct page是系統(tǒng)boot的時候就會根據(jù)內(nèi)存大小算出來分配出去的，18內(nèi)核是1.56%左右，32內(nèi)核由于cgroup的原因會在2.3%
好吧，知道是干嘛的啦，管理這些物理頁面的硬開銷，那么具體是多少呢？
好吧，小結(jié)下！內(nèi)存的去向主要有3個：1. 進(jìn)程消耗。 2. slab消耗 3.pagetable消耗。
我把三種消耗匯總下和free出的結(jié)果比對下,這個腳本的各種計(jì)算項(xiàng)仲同學(xué)幫忙搞定的:
free報(bào)告說7629M， 我們的cm腳本報(bào)告說7800.3M， 我們的CM多報(bào)了171M。
damn,這又怎么回事呢？
我們重新校對下我們的計(jì)算。 我們和nmon來比對下，slab和pagetable的值是吻合的。 那最大的問題可能在進(jìn)程的消耗計(jì)算上。
resident resident set size 包括我們使用的各種庫和so等共享的模塊，在前面的計(jì)算中我們重復(fù)計(jì)算了。
多出的171M正是共享庫重復(fù)計(jì)算的部分。
但是由于每個進(jìn)程共享的東西都不一樣，我們也沒法知道每個進(jìn)程是如何共享的，沒法做到準(zhǔn)確的區(qū)分。
所以只能留點(diǎn)小遺憾，歡迎大家來探討。
總結(jié)：內(nèi)存方面的概念很多，需要深入挖掘！
祝玩的開心！
Post Footer automatically generated by?wp-posturl plugin?for wordpress.
Related posts:
總結(jié)
以上是生活随笔為你收集整理的Linux Used内存到底哪里去了？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Android内存分析
- 下一篇： Linux内存初始化（汇编部分）