上一篇<<baddy：初始化內存域>>分析了內存域的初始化過程，及擴展內容cpu熱插拔函數的注冊及熱插拔線程的作用等等。UMA下只有一個pglist_data對象也就是對應一個內存域，而NUMA下最多擁有5個內存域(zone)， ZONE_DMA、ZONE_DMA32、ZONE_NORMAL、ZONE_HIGHMEM、ZONE_MOVABLE等等，內存域類型根據具體硬件來決定。

baddy系統的入口(核心)函數為__alloc_pages，經典調用可以追溯到slub分配器的kmalloc函數，參考<<slub構建過程>>。

__alloc_pages

? __alloc_pages函數實現在mm/page_alloc.c文件：

struct page *__alloc_pages(gfp_t gfp, unsigned int order, int preferred_nid,nodemask_t *nodemask) {struct page *page;unsigned int alloc_flags = ALLOC_WMARK_LOW; // 默認低水位線// #define ALLOC_WMARK_MIN WMARK_MIN // 最低水位線// #define ALLOC_WMARK_LOW WMARK_LOW // 低水位線// #define ALLOC_WMARK_HIGH WMARK_HIGH // 高水位線// #define ALLOC_NO_WATERMARKS 0x04 // 不檢查水位線// enum zone_watermarks {// WMARK_MIN, // 內存區域的空閑頁面最低水位線，說明本區域的內存嚴重不足// WMARK_LOW, // 內存區域的空閑頁面低水位線，說明本區域的內存輕微不足，默認值為WMARK_MIN的125%// WMARK_HIGH, // 內存區域的空閑頁數高水位線，說明本區域內存充足，默認值為WMARK_MAX的150%// WMARK_PROMO, // 內存區域的空閑頁面大于高水位線；當內存需要回收時，對快速內存節點通過kswapd以回收頁面，至空閑頁面略高于WMARK_PROMO水位線// NR_WMARK // unsigned long _watermark[NR_WMARK]; 表示區域(zone)水平線，由WMARK_MIN... WMARK_PROMO索引// };gfp_t alloc_gfp; /* The gfp_t that was actually used for allocation */struct alloc_context ac = { };/** There are several places where we assume that the order value is sane* so bail out early if the request is out of bound.*/if (WARN_ON_ONCE_GFP(order >= MAX_ORDER, gfp)) // 調用dump_stack，打印堆棧信息，指定__GFP_NOWARN標志時，不輸出警告信息return NULL;gfp &= gfp_allowed_mask;// 在早期引導期間，gfp_allowed_mask被設置為GFP_BOOT_MASK，// 以限制在啟用中斷之前使用的GFP標志// 一旦啟用了中斷，在系統運行時將其設置為__GFP_BITS_MASK// 在休眠期間，PM使用它來避免設備掛起時內存分配期間的I/O/* 應用作用域分配約束。這主要是關于GFP_NOFS的。GFP_NOIO必須從一個特定的上下文繼承所有的分配請求，該上下文被標記為memalloc_no{fs,io}_{save,restore}。PF_MEMALLOC_PIN確保在分配時不使用可移動區域 */gfp = current_gfp_context(gfp);alloc_gfp = gfp;if (!prepare_alloc_pages(gfp, order, preferred_nid, nodemask, &ac,&alloc_gfp, &alloc_flags))return NULL;

? 進入prepare_alloc_pages函數：

static inline bool prepare_alloc_pages(gfp_t gfp_mask, unsigned int order,int preferred_nid, nodemask_t *nodemask,struct alloc_context *ac, gfp_t *alloc_gfp,unsigned int *alloc_flags) {ac->highest_zoneidx = gfp_zone(gfp_mask); // highest_zoneidx表示分配請求的最高可用區域索引// 由于分區的性質，低于highest_zoneidx的分區上的內存將受到lowmem_reserve[highest_zoneidx]的保護// 回收/壓縮也使用最高的zoneidx來限制目標區域// 因為高于此索引的區域不能用于此分配請求ac->zonelist = node_zonelist(preferred_nid, gfp_mask); // 獲取區域列表ac->nodemask = nodemask;ac->migratetype = gfp_migratetype(gfp_mask); // 將GFP標志轉換為其相應的遷移類型if (cpusets_enabled()) { // cpusets有效*alloc_gfp |= __GFP_HARDWALL; // __GFP_HARDWALL 強制執行cpuset內存分配策略/** When we are in the interrupt context, it is irrelevant* to the current task context. It means that any node ok.*/if (in_task() && !ac->nodemask) // 在任務上下文中并且nodemask為NULLac->nodemask = &cpuset_current_mems_allowed;// #define cpuset_current_mems_allowed (current->mems_allowed)else*alloc_flags |= ALLOC_CPUSET; // 檢查cpuset是否正確}fs_reclaim_acquire(gfp_mask); // 檢查(符合)/增加頁面回收獨占鎖fs_reclaim_release(gfp_mask); // 釋放鎖might_sleep_if(gfp_mask & __GFP_DIRECT_RECLAIM); // 可以回收的情況下，主動觸發一次調度if (should_fail_alloc_page(gfp_mask, order)) // should_fail_alloc_page做一些預檢查, 一些無法分配的條件會直接報錯return false;*alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, *alloc_flags); // 允許來自CMA區域的分配 ?ac->spread_dirty_pages = (gfp_mask & __GFP_WRITE);// __GFP_WRITE表示調用者允許獲取臟頁面// 在可能的情況下，這些頁面將分布在本地區域之間// 以避免所有臟頁面位于一個區域中(公平區域分配策略)ac->preferred_zoneref = first_zones_zonelist(ac->zonelist,ac->highest_zoneidx, ac->nodemask); // 首選區域用于統計，它也用作zonelist迭代器的起點// 返回位于或低于允許節點掩碼內給定區域索引的第一個區域return true; }

? 繼續看__alloc_pages函數：

alloc_flags |= alloc_flags_nofragment(ac.preferred_zoneref->zone, gfp); // 計算分配標志page = get_page_from_freelist(alloc_gfp, order, alloc_flags, &ac); // 從足夠空閑的區域中分配頁 || \/ static struct page * get_page_from_freelist(gfp_t gfp_mask, unsigned int order, int alloc_flags,const struct alloc_context *ac) {...no_fallback = alloc_flags & ALLOC_NOFRAGMENT;z = ac->preferred_zoneref;for_next_zone_zonelist_nodemask(zone, z, ac->highest_zoneidx,ac->nodemask) { // 掃描區域列表，尋找一個有足夠空閑的區域if (cpusets_enabled() &&(alloc_flags & ALLOC_CPUSET) &&!__cpuset_zone_allowed(zone, gfp_mask))// cpusets有效并且已設置ALLOC_CPUSET標志，在符合條件的區域中尋找continue;if (ac->spread_dirty_pages) { // 允許獲取臟頁面if (last_pgdat != zone->zone_pgdat) { 如果區域的zone_pgdat節點不等于 last_pgdat節點last_pgdat = zone->zone_pgdat; // 賦給last_pgdatlast_pgdat_dirty_ok = node_dirty_ok(zone->zone_pgdat);}if (!last_pgdat_dirty_ok)continue;}if (no_fallback && nr_online_nodes > 1 &&zone != ac->preferred_zoneref->zone) {// 避免混合頁面塊類型 并且 NUMA節點數量大于1 并且 當前遍歷到的區域不是起點區域int local_nid;/** If moving to a remote node, retry but allow* fragmenting fallbacks. Locality is more important* than fragmentation avoidance.*/local_nid = zone_to_nid(ac->preferred_zoneref->zone);if (zone_to_nid(zone) != local_nid) { // 如果不是本地節點alloc_flags &= ~ALLOC_NOFRAGMENT; // 取消ALLOC_NOFRAGMENT標志goto retry;}}mark = wmark_pages(zone, alloc_flags & ALLOC_WMARK_MASK); // 如果分配標志為低水位線(默認值)if (!zone_watermark_fast(zone, order, mark,ac->highest_zoneidx, alloc_flags,gfp_mask)) { // 區域水位線是否符合分配int ret;...ret = node_reclaim(zone->zone_pgdat, gfp_mask, order); // 回收未映射(使用)的文件備份頁面switch (ret) {case NODE_RECLAIM_NOSCAN:/* did not scan */continue;case NODE_RECLAIM_FULL:/* scanned but unreclaimable */continue;default:/* did we reclaim enough */if (zone_watermark_ok(zone, order, mark,ac->highest_zoneidx, alloc_flags)) // 當前內存區中的頁面是否在水位線以上goto try_this_zone;continue;}}try_this_zone: page = rmqueue(ac->preferred_zoneref->zone, zone, order,gfp_mask, alloc_flags, ac->migratetype); // 遷移到指定類型，合并成連續的頁，喚醒kswapd

? rmqueue函數分析，繼續看__alloc_pages函數：

if (page) {prep_new_page(page, order, gfp_mask, alloc_flags); // 準備分配頁，lru.next = 1 ？0/** If this is a high-order atomic allocation then check* if the pageblock should be reserved for the future*/if (unlikely(order && (alloc_flags & ALLOC_HARDER)))reserve_highatomic_pageblock(page, zone, order); // 保留pageblock以獨占使用高階原子分配return page;}...if (no_fallback) {alloc_flags &= ~ALLOC_NOFRAGMENT; // 去除避免混合頁面塊類型標志goto retry;}return NULL; }

? 繼續看__alloc_pages函數：

alloc_gfp = gfp; ac.spread_dirty_pages = false; ac.nodemask = nodemask; page = __alloc_pages_slowpath(alloc_gfp, order, &ac);

? __alloc_pages_slowpath函數分析，繼續看__alloc_pages函數：

out:if (memcg_kmem_enabled() && (gfp & __GFP_ACCOUNT) && page &&unlikely(__memcg_kmem_charge_page(page, gfp, order) != 0)) {// mem_cgroup開啟 并且 頁分配在mem_cgroup 并且 頁有效 并且 mem_cgroup不能控制頁__free_pages(page, order); // 釋放頁page = NULL;}trace_mm_page_alloc(page, order, alloc_gfp, ac.migratetype); // 增加trace打印頁相關信息return page; } EXPORT_SYMBOL(__alloc_pages);

? 到這里頁分配核心函數流程分析完成了，? 查看trace_mm_page_alloc函數分析。

rmqueue

static inline struct page *rmqueue(struct zone *preferred_zone,struct zone *zone, unsigned int order,gfp_t gfp_flags, unsigned int alloc_flags,int migratetype) {unsigned long flags;struct page *page;if (likely(pcp_allowed_order(order))) { // 檢查是否符合order標準，普通頁order <= 3，32KB或以內// 大頁order <= 9，2MB或以內if (!IS_ENABLED(CONFIG_CMA) || alloc_flags & ALLOC_CMA ||migratetype != MIGRATE_MOVABLE) { // 如果支持CMA內存分配器(分配大塊連續物理內存)page = rmqueue_pcplist(preferred_zone, zone, order,gfp_flags, migratetype, alloc_flags);// 從每cpu列表中取出page(釋放lru)goto out;}}/* 我們絕對不希望調用方使用__GFP_NOFAIL分配大于order-1的頁面單元 */WARN_ON_ONCE((gfp_flags & __GFP_NOFAIL) && (order > 1));do {page = NULL;spin_lock_irqsave(&zone->lock, flags);/* 當由于非cma分配上下文跳過pcplist時，order-0請求可以到達這里。*//* HIGHATOMIC區域是為高階原子分配保留的，因此order-0請求應該跳過它 */if (order > 0 && alloc_flags & ALLOC_HARDER)page = __rmqueue_smallest(zone, order, MIGRATE_HIGHATOMIC);// 遍歷指定的migratetype的空閑列表，并從空閑列表中刪除最小的可用頁面 zone->free_area[order].nr_free--;// 合并到連續的頁面 free_area->free_listif (!page) {page = __rmqueue(zone, order, migratetype, alloc_flags);// 合并到連續的(CMA)頁面 if (!page)goto failed;}__mod_zone_freepage_state(zone, -(1 << order),get_pcppage_migratetype(page)); // 修改頁狀態spin_unlock_irqrestore(&zone->lock, flags);} while (check_new_pages(page, order));__count_zid_vm_events(PGALLOC, page_zonenum(page), 1 << order); // 更新每cpu狀態zone_statistics(preferred_zone, zone, 1); // 更新當前zone的統計信息out:/* Separate test+clear to avoid unnecessary atomics */if (test_bit(ZONE_BOOSTED_WATERMARK, &zone->flags)) {clear_bit(ZONE_BOOSTED_WATERMARK, &zone->flags); // 清除ZONE_BOOSTED_WATERMARK標志wakeup_kswapd(zone, 0, 0, zone_idx(zone)); // 喚醒kswapd// 如果區域具有由伙伴分配器管理的頁面，則返回true// 所有回收決策都必須使用此函數}VM_BUG_ON_PAGE(page && bad_range(zone, page), page);return page;failed:spin_unlock_irqrestore(&zone->lock, flags);return NULL; }

__alloc_pages_slowpath

static inline struct page * __alloc_pages_slowpath(gfp_t gfp_mask, unsigned int order,struct alloc_context *ac){bool can_direct_reclaim = gfp_mask & __GFP_DIRECT_RECLAIM;const bool costly_order = order > PAGE_ALLOC_COSTLY_ORDER;...if (WARN_ON_ONCE((gfp_mask & (__GFP_ATOMIC|__GFP_DIRECT_RECLAIM)) ==(__GFP_ATOMIC|__GFP_DIRECT_RECLAIM)))// 如果gfp_mask包含__GFP_ATOMIC和__GFP_DIRECT_RECLAIM標志，輸出一次警告// %__GFP_ATOMIC表示調用者不能回收或休眠// %__GFP_DIRECT_RECLAIM表示調用者可以直接回收gfp_mask &= ~__GFP_ATOMIC; // 去除__GFP_ATOMIC標志.../* 快速路徑僅在需要喚醒kswapd之前使用alloc_flags */alloc_flags = gfp_to_alloc_flags(gfp_mask);/* 我們需要重新計算區域列表迭代器的起點，因為我們可能在快速路徑中使用了不同的節點掩碼，或者有一個cpuset修改，我們正在重試，否則我們可能會在不合格的區域上無休止地迭代 */ac->preferred_zoneref = first_zones_zonelist(ac->zonelist,ac->highest_zoneidx, ac->nodemask);// 首選區域用于統計，它也用作zonelist迭代器的起點// 返回位于或低于允許節點掩碼內給定區域索引的第一個區域if (!ac->preferred_zoneref->zone)goto nopage;...if (alloc_flags & ALLOC_KSWAPD) wake_all_kswapds(order, gfp_mask, ac); // 喚醒所有kswapd線程page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac); // 從足夠空閑的區域中分配頁if (page)goto got_pg;/* 對于開銷較大的分配，請先嘗試直接壓縮，因為很可能我們有足夠的基頁，不需要回收。對于不可移動的高順序分配，也要這樣做，因為壓縮將嘗試通過從相同migratetype的塊遷移來防止永久碎片。對于允許忽略水印的分配，不要嘗試這樣做，因為還沒有試過alloc_no_watermark(可以測試一下) */if (can_direct_reclaim &&(costly_order ||(order > 0 && ac->migratetype != MIGRATE_MOVABLE))&& !gfp_pfmemalloc_allowed(gfp_mask)) {page = __alloc_pages_direct_compact(gfp_mask, order,alloc_flags, ac,INIT_COMPACT_PRIORITY,&compact_result); // 在回收之前，嘗試對高階分配進行內存壓縮 if (page)goto got_pg;/* 使用__GFP_NORETRY檢查昂貴的分配，其中包括一些THP頁面錯誤分配 */ if (costly_order && (gfp_mask & __GFP_NORETRY)) {if (compact_result == COMPACT_SKIPPED ||compact_result == COMPACT_DEFERRED) // 內存無法壓縮或壓縮失敗goto nopage;/* 看起來回收/壓縮值得一試，但同步壓縮可能非常昂貴，所以請繼續使用異步壓縮 */compact_priority = INIT_COMPACT_PRIORITY;}} retry:/* Ensure kswapd doesn't accidentally go to sleep as long as we loop */if (alloc_flags & ALLOC_KSWAPD)wake_all_kswapds(order, gfp_mask, ac); // 喚醒所有kswapd線程reserve_flags = __gfp_pfmemalloc_flags(gfp_mask);// 區分真正需要訪問全部內存儲備的請求和可以接受部分內存的請求if (reserve_flags)alloc_flags = gfp_to_alloc_flags_cma(gfp_mask, reserve_flags); // 允許來自CMA區域的分配 ?/* 如果可以忽略內存策略，請重置nodemask和zonelist迭代器這些分配具有高優先級和系統性，而不是面向用戶 */if (!(alloc_flags & ALLOC_CPUSET) || reserve_flags) {ac->nodemask = NULL;ac->preferred_zoneref = first_zones_zonelist(ac->zonelist,ac->highest_zoneidx, ac->nodemask);}/* 嘗試使用可能已經調整的區域列表和alloc_flags */page = get_page_from_freelist(gfp_mask, order, alloc_flags, ac);if (page)goto got_pg;/* 調用者不愿意回收頁(頁標識沒有設置)，我們無法平衡任何事情if (!can_direct_reclaim)goto nopage;/* 避免遞歸回收 */if (current->flags & PF_MEMALLOC)goto nopage;/* 嘗試直接壓縮，然后分配 */page = __alloc_pages_direct_reclaim(gfp_mask, order, alloc_flags, ac,&did_some_progress);if (page)goto got_pg;// __GFP_NORETRY 嘗試輕量級的回收，避免循環，避免oom killer那樣直接破壞if (gfp_mask & __GFP_NORETRY)goto nopage;// 如果有跡象表明在其他地方取得了進展，// 虛擬機實現將重試以前失敗的內存回收過程// 它可以等待其他任務嘗試高級方法來釋放內存，例如壓縮（消除碎片）和分頁if (costly_order && !(gfp_mask & __GFP_RETRY_MAYFAIL))goto nopage;// 檢查重試回收以向前推進給定的分配請求是否有意義// 如果我們連續嘗試MAX_RECLAIM_RETRIES次重試均未成功，// 或者如果我們回收LRU列表上的所有剩余頁面，// 甚至無法滿足水印要求，我們就會放棄if (should_reclaim_retry(gfp_mask, order, ac, alloc_flags,did_some_progress > 0, &no_progress_loops))goto retry;// 如果order-0回收無法取得任何進展，// 則重試壓縮沒有任何意義，因為壓縮的當前實現取決于足夠的可用內存量if (did_some_progress > 0 &&should_compact_retry(ac, order, alloc_flags,compact_result, &compact_priority,&compaction_retries))goto retry;// 在我們開始OOM殺死之前，處理可能的cpuset更新競爭if (check_retry_cpuset(cpuset_mems_cookie, ac))goto retry_cpuset;// 回收失敗，開始oom killerpage = __alloc_pages_may_oom(gfp_mask, order, ac, &did_some_progress);if (page)goto got_pg;// 避免無水線的分配無限循環if (tsk_is_oom_victim(current) &&(alloc_flags & ALLOC_OOM ||(gfp_mask & __GFP_NOMEMALLOC)))// 當前線程被oom killer ?// oom 異步回收// __GFP_NOMEMALLOC被用來明確禁止進入緊急儲備goto nopage;/* 只要oom 有進展，就重試 */if (did_some_progress) {no_progress_loops = 0;goto retry;}nopage:/* 在失敗之前處理可能的cpuset更新競爭 */if (check_retry_cpuset(cpuset_mems_cookie, ac))goto retry_cpuset;/* 確保__GFP_NOFAIL請求不會泄漏，并確保我們總是重試 */if (gfp_mask & __GFP_NOFAIL) {/ * __GFP_NOFAIL的所有現有用戶都是可阻塞的，因此如果有任何新用戶實際需要GFP_NOWAIT，就會發出警告 */if (WARN_ON_ONCE_GFP(!can_direct_reclaim, gfp_mask))goto fail;/* 來自這個上下文的PF_MEMALLOC請求是相當奇怪的，因為我們不能回收任何東西，只能循環等待某人(線程)為我們做一個工作 */WARN_ON_ONCE_GFP(current->flags & PF_MEMALLOC, gfp_mask);/* 不失敗的昂貴orders是一項艱巨的要求，我們對此沒有太多準備，因此讓我們警告這些用戶，以便我們能夠識別他們并將其轉換為其他產品 */WARN_ON_ONCE_GFP(order > PAGE_ALLOC_COSTLY_ORDER, gfp_mask);/* 通過允許它們訪問內存儲備來幫助非失敗的分配，但不要使用ALLOC_NO_WATERMARKS，因為這可能會耗盡整個內存儲備，這只會使情況變得更糟 */page = __alloc_pages_cpuset_fallback(gfp_mask, order, ALLOC_HARDER, ac);if (page)goto got_pg;// 主動放權，等待下一次的調度運行cond_resched();goto retry;} fail:// 輸出警告信息warn_alloc(gfp_mask, ac->nodemask,"page allocation failure: order:%u", order); got_pg:return page; }

trace_mm_page_alloc

? trace用于跟蹤打印信息，俗稱“插樁”，通過定義類型、變量和結構，輸出相關信息。

TRACE_EVENT(mm_page_alloc,TP_PROTO(struct page *page, unsigned int order,gfp_t gfp_flags, int migratetype), TP_ARGS(page, order, gfp_flags, migratetype), TP_STRUCT__entry(__field( unsigned long, pfn )__field( unsigned int, order )__field( unsigned long, gfp_flags )__field( int, migratetype )),TP_fast_assign(__entry->pfn = page ? page_to_pfn(page) : -1UL;__entry->order = order;__entry->gfp_flags = (__force unsigned long)gfp_flags;__entry->migratetype = migratetype;),TP_printk("page=%p pfn=0x%lx order=%d migratetype=%d gfp_flags=%s",__entry->pfn != -1UL ? pfn_to_page(__entry->pfn) : NULL,__entry->pfn != -1UL ? __entry->pfn : 0,__entry->order,__entry->migratetype,show_gfp_flags(__entry->gfp_flags)) );

目錄預覽

<<baddy：初始化內存域>>

總結

以上是生活随笔為你收集整理的baddy：核心函数入口的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。