當(dāng)前位置:
首頁 >
linux查看内存_嵌入式操作系统的内存,你了解多少?
發(fā)布時(shí)間:2025/3/8
46
豆豆
生活随笔
收集整理的這篇文章主要介紹了
linux查看内存_嵌入式操作系统的内存,你了解多少?
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
關(guān)注、星標(biāo)公眾號,不錯(cuò)過精彩內(nèi)容
來源:EDN電子技術(shù)設(shè)計(jì)
linux 內(nèi)存是后臺開發(fā)人員,需要深入了解的計(jì)算機(jī)資源。合理的使用內(nèi)存,有助于提升機(jī)器的性能和穩(wěn)定性。本文主要介紹 linux 內(nèi)存組織結(jié)構(gòu)和頁面布局,內(nèi)存碎片產(chǎn)生原因和優(yōu)化算法,linux 內(nèi)核幾種內(nèi)存管理的方法,內(nèi)存使用場景以及內(nèi)存使用的那些坑。從內(nèi)存的原理和結(jié)構(gòu),到內(nèi)存的算法優(yōu)化,再到使用場景,去探尋內(nèi)存管理的機(jī)制和奧秘。一、走進(jìn) linux 內(nèi)存
1、內(nèi)存是什么?1)內(nèi)存又稱主存,是 CPU 能直接尋址的存儲空間,由半導(dǎo)體器件制成2)內(nèi)存的特點(diǎn)是存取速率快2、內(nèi)存的作用1)暫時(shí)存放 cpu 的運(yùn)算數(shù)據(jù)2)硬盤等外部存儲器交換的數(shù)據(jù)3)保障 cpu 計(jì)算的穩(wěn)定性和高性能二、 linux 內(nèi)存地址空間
1、linux 內(nèi)存地址空間 Linux 內(nèi)存管理全貌2、內(nèi)存地址——用戶態(tài)&內(nèi)核態(tài)- 用戶態(tài):Ring3 運(yùn)行于用戶態(tài)的代碼則要受到處理器的諸多
- 內(nèi)核態(tài):Ring0 在處理器的存儲保護(hù)中,核心態(tài)
- 用戶態(tài)切換到內(nèi)核態(tài)的 3 種方式:系統(tǒng)調(diào)用、異常、外設(shè)中斷
- 區(qū)別:每個(gè)進(jìn)程都有完全屬于自己的,獨(dú)立的,不被干擾的內(nèi)存空間;用戶態(tài)的程序就不能隨意操作內(nèi)核地址空間,具有一定的安全保護(hù)作用;內(nèi)核態(tài)線程共享內(nèi)核地址空間;
- MMU 是一種硬件電路,它包含兩個(gè)部件,一個(gè)是分段部件,一個(gè)是分頁部件
- 分段機(jī)制把一個(gè)邏輯地址轉(zhuǎn)換為線性地址
- 分頁機(jī)制把一個(gè)線性地址轉(zhuǎn)換為物理地址
- 為了方便快速檢索段選擇符,處理器提供了 6 個(gè)分段寄存器來緩存段選擇符,它們是:cs,ss,ds,es,fs 和 gs
- 段的基地址(Base Address):在線性地址空間中段的起始地址
- 段的界限(Limit):在虛擬地址空間中,段內(nèi)可以使用的最大偏移量
- 邏輯地址的段寄存器中的值提供段描述符,然后從段描述符中得到段基址和段界限,然后加上邏輯地址的偏移量,就得到了線性地址
- 分頁機(jī)制是在分段機(jī)制之后進(jìn)行的,它進(jìn)一步將線性地址轉(zhuǎn)換為物理地址
- 10 位頁目錄,10 位頁表項(xiàng),?12 位頁偏移地址
- 單頁的大小為 4KB
- TEXT:代碼段可執(zhí)行代碼、字符串字面值、只讀變量
- DATA:數(shù)據(jù)段,映射程序中已經(jīng)初始化的全局變量
- BSS 段:存放程序中未初始化的全局變量
- HEAP:運(yùn)行時(shí)的堆,在程序運(yùn)行中使用 malloc 申請的內(nèi)存區(qū)域
- MMAP:共享庫及匿名文件的映射區(qū)域
- STACK:用戶進(jìn)程棧
- 直接映射區(qū):線性空間中從 3G 開始最大 896M 的區(qū)間,為直接內(nèi)存映射區(qū)
- 動(dòng)態(tài)內(nèi)存映射區(qū):該區(qū)域由內(nèi)核函數(shù) vmalloc 來分配
- 永久內(nèi)存映射區(qū):該區(qū)域可訪問高端內(nèi)存
- 固定映射區(qū):該區(qū)域和 4G 的頂端只有 4k 的隔離帶,其每個(gè)地址項(xiàng)都服務(wù)于特定的用途,如:ACPI_BASE 等
- 用戶進(jìn)程通常情況只能訪問用戶空間的虛擬地址,不能訪問內(nèi)核空間虛擬地址
- 內(nèi)核空間是由內(nèi)核負(fù)責(zé)映射,不會跟著進(jìn)程變化;內(nèi)核空間地址有自己對應(yīng)的頁表,用戶進(jìn)程各自有不同額頁表
三、 Linux 內(nèi)存分配算法
內(nèi)存管理算法——對討厭自己管理內(nèi)存的人來說是天賜的禮物1、內(nèi)存碎片1)??? 基本原理- 產(chǎn)生原因:內(nèi)存分配較小,并且分配的這些小的內(nèi)存生存周期又較長,反復(fù)申請后將產(chǎn)生內(nèi)存碎片的出現(xiàn)
- 優(yōu)點(diǎn):提高分配速度,便于內(nèi)存管理,防止內(nèi)存泄露
- 缺點(diǎn):大量的內(nèi)存碎片會使系統(tǒng)緩慢,內(nèi)存使用率低,浪費(fèi)大
- 少用動(dòng)態(tài)內(nèi)存分配的函數(shù)(盡量使用??臻g)
- 分配內(nèi)存和釋放的內(nèi)存盡量在同一個(gè)函數(shù)中
- 盡量一次性申請較大的內(nèi)存,而不要反復(fù)申請小內(nèi)存
- 盡可能申請大塊的 2 的指數(shù)冪大小的內(nèi)存空間
- 外部碎片避免——伙伴系統(tǒng)算法
- 內(nèi)部碎片避免——slab 算法
- 自己進(jìn)行內(nèi)存管理工作,設(shè)計(jì)內(nèi)存池
- 為內(nèi)核提供了一種用于分配一組連續(xù)的頁而建立的一種高效的分配策略,并有效的解決了外碎片問題
- 分配的內(nèi)存區(qū)是以頁框?yàn)榛締挝坏?/li>
- 外部碎片指的是還沒有被分配出去(不屬于任何進(jìn)程),但由于太小了無法分配給申請內(nèi)存空間的新進(jìn)程的內(nèi)存空閑區(qū)域3)??? 組織結(jié)構(gòu)
- 把所有的空閑頁分組為 11 個(gè)塊鏈表,每個(gè)塊鏈表分別包含大小為 1,2,4,8,16,32,64,128,256,512 和 1024 個(gè)連續(xù)頁框的頁塊。最大可以申請 1024 個(gè)連續(xù)頁,對應(yīng) 4MB 大小的連續(xù)內(nèi)存
- 申請 2^i 個(gè)頁塊存儲空間,如果 2^i 對應(yīng)的塊鏈表有空閑頁塊,則分配給應(yīng)用
- 如果沒有空閑頁塊,則查找 2^(i 1) 對應(yīng)的塊鏈表是否有空閑頁塊,如果有,則分配 2^i 塊鏈表節(jié)點(diǎn)給應(yīng)用,另外 2^i 塊鏈表節(jié)點(diǎn)插入到 2^i 對應(yīng)的塊鏈表中
- 如果 2^(i 1) 塊鏈表中沒有空閑頁塊,則重復(fù)步驟 2,直到找到有空閑頁塊的塊鏈表
- 如果仍然沒有,則返回內(nèi)存分配失敗
- 釋放 2^i 個(gè)頁塊存儲空間,查找 2^i 個(gè)頁塊對應(yīng)的塊鏈表,是否有與其物理地址是連續(xù)的頁塊,如果沒有,則無需合并
- 如果有,則合并成 2^(i 1)的頁塊,以此類推,繼續(xù)查找下一級塊鏈接,直到不能合并為止
- 兩個(gè)塊具有相同的大小
- 它們的物理地址是連續(xù)的
- 頁塊大小相同
- 分配的內(nèi)存越大, 失敗的可能性越大
- 大塊內(nèi)存使用場景少
- 修改 MAX_ORDER, 重新編譯內(nèi)核
- 內(nèi)核啟動(dòng)選型傳遞"mem="參數(shù), 如"mem=80M,預(yù)留部分內(nèi)存;然后通過
- request_mem_region 和 ioremap_nocache 將預(yù)留的內(nèi)存映射到模塊中。需要修改內(nèi)核啟動(dòng)參數(shù), 無需重新編譯內(nèi)核. 但這種方法不支持 x86 架構(gòu), 只支持 ARM, PowerPC 等非 x86 架構(gòu)
- 在 start_kernel 中 mem_init 函數(shù)之前調(diào)用 alloc_boot_mem 函數(shù)預(yù)分配大塊內(nèi)存, 需要重新編譯內(nèi)核
- vmalloc 函數(shù),內(nèi)核代碼使用它來分配在虛擬內(nèi)存中連續(xù)但在物理內(nèi)存中不一定連續(xù)的內(nèi)存
- 這些頁在內(nèi)存中有固定的位置,不能夠移動(dòng),也不可回收
- 內(nèi)核代碼段,數(shù)據(jù)段,內(nèi)核 kmalloc() 出來的內(nèi)存,內(nèi)核線程占用的內(nèi)存等
- 這些頁不能移動(dòng),但可以刪除。內(nèi)核在回收頁占據(jù)了太多的內(nèi)存時(shí)或者內(nèi)存短缺時(shí)進(jìn)行頁面回收3)??? 可移動(dòng)頁
- 這些頁可以任意移動(dòng),用戶空間應(yīng)用程序使用的頁都屬于該類別。它們是通過頁表映射的
- 當(dāng)它們移動(dòng)到新的位置,頁表項(xiàng)也會相應(yīng)的更新
- Linux 所使用的 slab 分配器的基礎(chǔ)是 Jeff Bonwick 為 SunOS 操作系統(tǒng)首次引入的一種算法
- 它的基本思想是將內(nèi)核中經(jīng)常使用的對象放到高速緩存中,并且由系統(tǒng)保持為初始的可利用狀態(tài)。比如進(jìn)程描述符,內(nèi)核中會頻繁對此數(shù)據(jù)進(jìn)行申請和釋放
- 已經(jīng)被分配出去的的內(nèi)存空間大于請求所需的內(nèi)存空間3)??? 基本目標(biāo)
- 減少伙伴算法在分配小塊連續(xù)內(nèi)存時(shí)所產(chǎn)生的內(nèi)部碎片
- 將頻繁使用的對象緩存起來,減少分配、初始化和釋放對象的時(shí)間開銷
- 通過著色技術(shù)調(diào)整對象以更好的使用硬件高速緩存
- 由于對象是從 slab 中分配和釋放的,因此單個(gè) slab 可以在 slab 列表之間進(jìn)行移動(dòng)
- slabs_empty 列表中的 slab 是進(jìn)行回收(reaping)的主要備選對象
- slab 還支持通用對象的初始化,從而避免了為同一目而對一個(gè)對象重復(fù)進(jìn)行初始化
- slab 分配器所提供的小塊連續(xù)內(nèi)存的分配是通過通用高速緩存實(shí)現(xiàn)的
- 通用高速緩存所提供的對象具有幾何分布的大小,范圍為 32 到 131072 字節(jié)。
- 內(nèi)核中提供了 kmalloc() 和 kfree() 兩個(gè)接口分別進(jìn)行內(nèi)存的申請和釋放
- 內(nèi)核為專用高速緩存的申請和釋放提供了一套完整的接口,根據(jù)所傳入的參數(shù)為具體的對象分配 slab 緩存
- kmem_cache_create() 用于對一個(gè)指定的對象創(chuàng)建高速緩存。它從 cache_cache 普通高速緩存中為新的專有緩存分配一個(gè)高速緩存描述符,并把這個(gè)描述符插入到高速緩存描述符形成的 cache_chain 鏈表中
- kmem_cache_alloc() 在其參數(shù)所指定的高速緩存中分配一個(gè) slab。相反, kmem_cache_free() 在其參數(shù)所指定的高速緩存中釋放一個(gè) slab
- 先申請分配一定數(shù)量的、大小相等(一般情況下) 的內(nèi)存塊留作備用
- 當(dāng)有新的內(nèi)存需求時(shí),就從內(nèi)存池中分出一部分內(nèi)存塊,若內(nèi)存塊不夠再繼續(xù)申請新的內(nèi)存
- 這樣做的一個(gè)顯著優(yōu)點(diǎn)是盡量避免了內(nèi)存碎片,使得內(nèi)存分配效率得到提升
- mempool_create 創(chuàng)建內(nèi)存池對象
- mempool_alloc 分配函數(shù)獲得該對象
- mempool_free 釋放一個(gè)對象
- mempool_destroy 銷毀內(nèi)存池
- 直接內(nèi)存訪問是一種硬件機(jī)制,它允許外圍設(shè)備和主內(nèi)存之間直接傳輸它們的 I/O 數(shù)據(jù),而不需要系統(tǒng)處理器的參與2)??? DMA 控制器的功能
- 能向 CPU 發(fā)出系統(tǒng)保持(HOLD)信號,提出總線接管請求
- 當(dāng) CPU 發(fā)出允許接管信號后,負(fù)責(zé)對總線的控制,進(jìn)入 DMA 方式
- 能對存儲器尋址及能修改地址指針,實(shí)現(xiàn)對內(nèi)存的讀寫操作
- 能決定本次 DMA 傳送的字節(jié)數(shù),判斷 DMA 傳送是否結(jié)束
- 發(fā)出 DMA 結(jié)束信號,使 CPU 恢復(fù)正常工作狀態(tài)
- DREQ:DMA 請求信號。是外設(shè)向 DMA 控制器提出要求,DMA 操作的申請信號
- DACK:DMA 響應(yīng)信號。是 DMA 控制器向提出 DMA 請求的外設(shè)表示已收到請求和正進(jìn)行處理的信號
- HRQ:DMA 控制器向 CPU 發(fā)出的信號,要求接管總線的請求信號。
- HLDA:CPU 向 DMA 控制器發(fā)出的信號,允許接管總線的應(yīng)答信號:
四、 內(nèi)存使用場景
out of memory 的時(shí)代過去了嗎?no,內(nèi)存再充足也不可任性使用。1、內(nèi)存的使用場景- page 管理
- slab(kmalloc、內(nèi)存池)
- 用戶態(tài)內(nèi)存使用(malloc、relloc 文件映射、共享內(nèi)存)
- 程序的內(nèi)存 map(棧、堆、code、data)
- 內(nèi)核和用戶態(tài)的數(shù)據(jù)傳遞(copy_from_user、copy_to_user)
- 內(nèi)存映射(硬件寄存器、保留內(nèi)存)
- DMA 內(nèi)存
- alloca 是向棧申請內(nèi)存,因此無需釋放
- malloc 所分配的內(nèi)存空間未被初始化,使用 malloc() 函數(shù)的程序開始時(shí)(內(nèi)存空間還沒有被重新分配) 能正常運(yùn)行,但經(jīng)過一段時(shí)間后(內(nèi)存空間已被重新分配) 可能會出現(xiàn)問題
- calloc 會將所分配的內(nèi)存空間中的每一位都初始化為零
- realloc 擴(kuò)展現(xiàn)有內(nèi)存空間大小
- 調(diào)用 malloc 函數(shù)時(shí),它沿 free_chuck_list 連接表尋找一個(gè)大到足以滿足用戶請求所需要的內(nèi)存塊
- free_chuck_list 連接表的主要工作是維護(hù)一個(gè)空閑的堆空間緩沖區(qū)鏈表
- 如果空間緩沖區(qū)鏈表沒有找到對應(yīng)的節(jié)點(diǎn),需要通過系統(tǒng)調(diào)用 sys_brk 延伸進(jìn)程的??臻g
- 通過 get_free_pages 申請一個(gè)或多個(gè)物理頁面
- 換算 addr 在進(jìn)程 pdg 映射中所在的 pte 地址
- 將 addr 對應(yīng)的 pte 設(shè)置為物理頁面的首地址
- 系統(tǒng)調(diào)用:Brk—申請內(nèi)存小于等于 128kb,do_map—申請內(nèi)存大于 128kb
- 用戶態(tài)進(jìn)程獨(dú)占虛擬地址空間,兩個(gè)進(jìn)程的虛擬地址可相同
- 在訪問用戶態(tài)虛擬地址空間時(shí),如果沒有映射物理地址,通過系統(tǒng)調(diào)用發(fā)出缺頁異常
- 缺頁異常陷入內(nèi)核,分配物理地址空間,與用戶態(tài)虛擬地址建立映射
- 它允許多個(gè)不相關(guān)的進(jìn)程去訪問同一部分邏輯內(nèi)存
- 兩個(gè)運(yùn)行中的進(jìn)程之間傳輸數(shù)據(jù),共享內(nèi)存將是一種效率極高的解決方案
- 兩個(gè)運(yùn)行中的進(jìn)程共享數(shù)據(jù),是進(jìn)程間通信的高效方法,可有效減少數(shù)據(jù)拷貝的次數(shù)
- shmget 創(chuàng)建共享內(nèi)存
- shmat 啟動(dòng)對該共享內(nèi)存的訪問,并把共享內(nèi)存連接到當(dāng)前進(jìn)程的地址空間
- shmdt 將共享內(nèi)存從當(dāng)前進(jìn)程中分離
五、 內(nèi)存使用那些坑
1、C 內(nèi)存泄露- 在類的構(gòu)造函數(shù)和析構(gòu)函數(shù)中沒有匹配地調(diào)用 new 和 delete 函數(shù)
- 沒有正確地清除嵌套的對象指針
- 沒有將基類的析構(gòu)函數(shù)定義為虛函數(shù)
- 當(dāng)基類的指針指向子類對象時(shí),如果基類的析構(gòu)函數(shù)不是 virtual,那么子類的析構(gòu)函數(shù)將不會被調(diào)用,子類的資源沒有得到正確釋放,因此造成內(nèi)存泄露
- 缺少拷貝構(gòu)造函數(shù),按值傳遞會調(diào)用(拷貝)構(gòu)造函數(shù),引用傳遞不會調(diào)用
- 指向?qū)ο蟮闹羔様?shù)組不等同于對象數(shù)組,數(shù)組中存放的是指向?qū)ο蟮闹羔?#xff0c;不僅要釋放每個(gè)對象的空間,還要釋放每個(gè)指針的空間
- 缺少重載賦值運(yùn)算符,也是逐個(gè)成員拷貝的方式復(fù)制對象,如果這個(gè)類的大小是可變的,那么結(jié)果就是造成內(nèi)存泄露
- 指針變量沒有初始化
- 指針被 free 或 delete 后,沒有設(shè)置為 NULL
- 指針操作超越了變量的作用范圍,比如返回指向棧內(nèi)存的指針就是野指針
- 訪問空指針(需要做空判斷)
- sizeof 無法獲取數(shù)組的大小
- 試圖修改常量,如:char p="1234";p='1';
- 多線程共享變量沒有用 valotile 修飾
- 多線程訪問全局變量未加鎖
- 全局變量僅對單進(jìn)程有效
- 多進(jìn)程寫共享內(nèi)存數(shù)據(jù),未做同步處理
- mmap 內(nèi)存映射,多進(jìn)程不安全
- 被刪除的迭代器失效
- 添加元素(insert/push_back 等)、刪除元素導(dǎo)致順序容器迭代器失效
- auto_ptr 替換為 unique_ptr
- 使用 make_shared 初始化一個(gè) shared_ptr
- weak_ptr 智能指針助手(1)原理分析:(2)數(shù)據(jù)結(jié)構(gòu):(3)使用方法:a. ?lock() 獲取所管理的對象的強(qiáng)引用指針 b. expired() 檢測所管理的對象是否已經(jīng)釋放 c. get() 訪問智能指針對象
- std::atomic 原子數(shù)據(jù)類型 多線程安全
- std::array 定長數(shù)組開銷比 array 小和 std::vector 不同的是 array 的長度是固定的,不能動(dòng)態(tài)拓展
- std::vector vector 瘦身 shrink_to_fit():將 capacity 減少為于 size() 相同的大小
- td::forward_list
- std::unordered_map、std::unordered_set用 hash 實(shí)現(xiàn)的無序的容器,插入、刪除和查找的時(shí)間復(fù)雜度都是 O(1),在不關(guān)注容器內(nèi)元素順序的場合,使用 unordered 的容器能獲得更高的性能六、 如何查看內(nèi)存
- 系統(tǒng)中內(nèi)存使用情況:/proc/meminfo ?
- 進(jìn)程的內(nèi)存使用情況:/proc/28040/status
- 查詢內(nèi)存總使用率:free
- 查詢進(jìn)程 cpu 和內(nèi)存使用占比:top
- 虛擬內(nèi)存統(tǒng)計(jì):vmstat
- 進(jìn)程消耗內(nèi)存占比和排序:ps aux –sort -rss
- 釋放系統(tǒng)內(nèi)存緩存:/proc/sys/vm/drop_caches
長按前往圖中包含的公眾號關(guān)注
總結(jié)
以上是生活随笔為你收集整理的linux查看内存_嵌入式操作系统的内存,你了解多少?的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 首套房利率5.88合法吗 让你知道怎么
- 下一篇: linux文件浏览 ls,linux浏览