Linux內核內存管理架構

內存管理子系統多是linux內核中最爲複雜的一個子系統，其支持的功能需求衆多，如頁面映射、頁面分配、頁面回收、頁面交換、冷熱頁面、緊急頁面、頁面碎片管理、頁面緩存、頁面統計等，並且對性能也有很高的要求。本文從內存管理硬件架構、地址空間劃分和內存管理軟件架構三個方面入手，嘗試對內存管理的軟硬件架構作一些宏觀上的分析總結。

內存管理硬件架構

由於內存管理是內核最爲核心的一個功能，針對內存管理性能優化，除了軟件優化，硬件架構也作了不少的優化設計。下圖是一個目前主流處理器上的存儲器層次結構設計方案。

從圖中能夠看出，對於讀寫內存，硬件設計了3條優化路徑。

1）首先L1 cache支持虛擬地址尋址，保證CPU出來的虛擬地址（VA）不須要轉換成物理地址（PA）就能夠用來直接查找L1 cache，提升cache查找效率。固然用VA查找cache，有安全等缺陷，這須要CPU作一些特別的設計來進行彌補，具體能夠閱讀《計算機體系結構：量化研究方法》瞭解相關細節。

2）若是L1 cache沒有命中，這就須要進行地址轉換，把VA轉換成PA。linux的內存映射管理是經過頁表來實現的，可是頁表是放在內存中的，若是每次地址轉換過程都須要訪問一次內存，其效率是十分低下的。這裏CPU經過TLB硬件單元來加速地址轉換。

3）得到PA後，在L2 cache中再查找緩存數據。L2 cache通常比L1 cache大一個數量級，其查找命中率也更高。若是命中得到數據，則可避免去訪問內存，提升訪問效率。

可見，爲了優化內存訪問效率，現代處理器引入多級cache、TLB等硬件模塊（以下圖是一款8核MIPS處理器硬件框圖）。每一個硬件模塊內部還有大量的設計細節，這裏再也不深刻，若有興趣能夠閱讀《計算機體系結構：量化研究方法》等書籍進一步瞭解。

 

內存映射空間劃分

 根據不一樣的內存使用方式和使用場景須要，內核把內存映射地址空間劃分紅多個部分，每一個劃分空間都有本身的起止地址、分配接口和使用場景。下圖是一個常見的32位地址空間劃分結構（點擊見大圖）。

•  DMA內存動態分配地址空間：一些DMA設備由於其自身尋址能力的限制，不能訪問全部內存空間。如早期的ISA設備只能在24位地址空間執行DMA，即只能訪問前16MB內存。因此須要劃分出DMA內存動態分配空間，即DMA zone。其分配經過加上GFP_ATOMIC控制符的kmalloc接口來申請。
• 直接內存動態分配地址空間：由於訪問效率等緣由，內核對內存採用簡單的線性映射，可是由於32位CPU的尋址能力（4G大小）和內核地址空間起始的設置（3G開始），會致使內核的地址空間資源不足，當內存大於1GB時，就沒法直接映射全部內存。沒法直接映射的地址空間部分，即highmem zone。在DMA zone和highmem zone中間的區域即normal zone，主要用於內核的動態內存分配。其分配經過kmalloc接口來申請。
• 高端內存動態分配地址空間：高端內存分配的內存是虛擬地址連續而物理地址不連續的內存，通常用於內核動態加載的模塊和驅動，由於內核可能運行了好久，內存頁面碎片狀況嚴重，若是要申請大的連續地址的內存頁會比較困難，容易致使分配失敗。根據應用須要，高端內存分配提供多個接口：
  • vmalloc：指定分配大小，page位置和虛擬地址隱式分配；
  • vmap：指定page位置數組，虛擬地址隱式分配；
  • ioremap：指定物理地址和大小，虛擬地址隱式分配。
• 持久映射地址空間：內核上下文切換會伴隨着TLB刷新，這會致使性能降低。但一些使用高端內存的模塊對性能也有很高要求。持久映射空間在內核上下文切換時，其TLB不刷新，因此它們映射的高端地址空間尋址效率較高。其分配經過kmap接口來申請。kmap與vmap的區別是：vmap能夠映射一組page，即page不連續，但虛擬地址連續，而kmap只能映射一個page到虛擬地址空間。kmap主要用於fs、net等對高端內存訪問有較高性能要求的模塊中。
• 固定映射地址空間：持久映射的問題是可能會休眠，在中斷上下文、自旋鎖臨界區等不能阻塞的場景中不可用。爲了解決這個問題，內核又劃分出固定映射，其接口不會休眠。固定映射空間經過kmap_atomic接口來映射。kmap_atomic的使用場景與kmap較爲類似，主要用於mm、fs、net等對高端內存訪問有較高性能要求並且不能休眠的模塊中。

不一樣的CPU體系架構在地址空間劃分上不盡相同，但爲了保證CPU體系差別對外部模塊不可見，內存地址空間的分配接口的語義是一致的。

由於64位CPU通常都不須要高端內存（固然也能夠支持），在地址空間劃分上與32位CPU的差別較大，下圖（大圖）是一個MIPS64 CPU的內核地址空間劃分示例。

 

 

內存管理軟件架構

內核內存管理的核心工做就是內存的分配回收管理，其內部分爲2個體系：頁管理和對象管理。頁管理體系是一個兩級的層次結構，對象管理體系是一個三級的層次結構，分配成本和操做對CPU cache和TLB的負面影響，從上而下逐漸升高。

• 頁管理層次結構：由冷熱緩存、夥伴系統組成的兩級結構。負責內存頁的緩存、分配、回收。
• 對象管理層次結構：由per-cpu高速緩存、slab緩存、夥伴系統組成的三級結構。負責對象的緩存、分配、回收。這裏的對象指小於一頁大小的內存塊。

除了內存分配，內存釋放也是按照此層次結構操做。如釋放對象，先釋放到per-cpu緩存，再釋放到slab緩存，最後再釋放到夥伴系統。

框圖中有三個主要模塊，即夥伴系統、slab分配器和per-cpu（冷熱）緩存。他們的對比分析以下。

 

 

--完--