linux內存管理之malloc、vmalloc、kmalloc的區別

時間 2019-11-05

標籤 linux 內存管理 malloc vmalloc kmalloc 區別欄目 Linux 简体版

原文原文鏈接

kmalloc kzalloc vmalloc malloc 和get_free_page()的區別

1、簡述

一、 kmalloc申請的是較小的連續的物理內存，虛擬地址上也是連續的。kmalloc和get_free_page最終調用實現是相同的，只不過在調用最終函數時所傳的flag不一樣而已。除非被阻塞不然他執行的速度很是快，並且不對得到空間清零。

二、get_free_page()申請的內存是一整頁，一頁的大小通常是128K。

三、kzalloc 先是用 kmalloc() 申請空間 , 而後用 memset() 清零來初始化 ,全部申請的元素都被初始化爲 0.

四、vmalloc用於申請較大的內存空間，虛擬內存是連續，可是在物理上它們不要求連續。

五、malloc 用於用戶空間申請內存。除非被阻塞不然他執行的速度很是快，並且不對得到空間清零。

2、先看看linux內存分佈圖：

圖1：linux內存分佈圖html

對於提供了MMU（存儲管理器，輔助操做系統進行內存管理，提供虛實地址轉換等硬件支持）的處理器而言，Linux提供了複雜的存儲管理系統，使得進程所能訪問的內存達到4GB。node

進程的4GB內存空間被人爲的分爲兩個部分--用戶空間與內核空間。用戶空間地址分佈從0到3GB(PAGE_OFFSET，在0x86中它等於0xC0000000)，3GB到4GB爲內核空間。linux

內核空間中，從3G到vmalloc_start這段地址是物理內存映射區域（該區域中包含了內核鏡像、物理頁框表mem_map等等），好比咱們使用的 VMware虛擬系統內存是160M，那麼3G～3G+160M這片內存就應該映射物理內存。在物理內存映射區以後，就是vmalloc區域。對於 160M的系統而言，vmalloc_start位置應在3G+160M附近（在物理內存映射區與vmalloc_start期間還存在一個8M的gap 來防止躍界），vmalloc_end的位置接近4G(最後位置系統會保留一片128k大小的區域用於專用頁面映射)程序員

一、kmalloc

kmalloc申請的是較小的連續的物理內存，內存物理地址上連續，虛擬地址上也是連續的，使用的是內存分配器slab的一小片。申請的內存位於物理內存的映射區域。其真正的物理地址只相差一個固定的偏移。能夠用兩個宏來簡單轉換__pa(address) { virt_to_phys()} 和__va(address) {phys_to_virt()}
get_free_page()申請的內存是一整頁，一頁的大小通常是128K。
從本質上講，kmalloc和get_free_page最終調用實現是相同的，只不過在調用最終函數時所傳的flag不一樣而已。
數組

kmalloc和get_free_page申請的內存位於物理內存映射區域，並且在物理上也是連續的，它們與真實的物理地址只有一個固定的偏移，所以存在較簡單的轉換關係，virt_to_phys()能夠實現內核虛擬地址轉化爲物理地址：
#define __pa(x) ((unsigned long)(x)-PAGE_OFFSET)
extern inline unsigned long virt_to_phys(volatile void * address)
{
　return __pa(address);
}
上面轉換過程是將虛擬地址減去3G（PAGE_OFFSET=0XC000000）。

與之對應的函數爲phys_to_virt()，將內核物理地址轉化爲虛擬地址：
#define __va(x) ((void *)((unsigned long)(x)+PAGE_OFFSET))
extern inline void * phys_to_virt(unsigned long address)
{
　return __va(address);
}
virt_to_phys()和phys_to_virt()都定義在include/asm-i386/io.h中。
緩存

1. kmalloc的用法
kmalloc與malloc 類似，該函數返回速度快快(除非它阻塞)並對其分配的內存不進行初始化（清零），分配的區仍然持有它原來的內容，分配的區也是在物理內存中連續
記住 kmalloc 原型是:
#include <linux/slab。h>
void *kmalloc(size_t size, int flags);
給 kmalloc 的第一個參數是要分配的塊的大小。第 2 個參數, 分配標誌, 用於控制 kmalloc的行爲。
1.1. flags 參數
GFP_ATOMIC
用來從中斷處理和進程上下文以外的其餘代碼中分配內存。從不睡眠。
GFP_KERNEL
內核內存的正常分配。可能睡眠。
GFP_USER
用來爲用戶空間頁來分配內存; 它可能睡眠。
GFP_HIGHUSER
如同 GFP_USER, 可是從高端內存分配, 若是有。高端內存在下一個子節描述。
GFP_NOIO

GFP_NOFS
這個標誌功能如同 GFP_KERNEL, 可是它們增長限制到內核能作的來知足請求。一個 GFP_NOFS 分配不容許進行任何文件系統調用, 而 GFP_NOIO 根本不容許任何 I/O 初始化。它們主要地用在文件系統和虛擬內存代碼, 那裏容許一個分配睡眠, 可是遞歸的文件系統調用會是一個壞注意。
上面列出的這些分配標誌能夠是下列標誌的相或來做爲參數, 這些標誌改變這些分配如何進行:
__GFP_DMA
這個標誌要求分配在可以 DMA 的內存區。確切的含義是平臺依賴的而且在下面章節來解釋。
__GFP_HIGHMEM
這個標誌指示分配的內存能夠位於高端內存。
__GFP_COLD
正常地, 內存分配器盡力返回"緩衝熱"的頁 -- 可能在處理器緩衝中找到的頁。相反, 這個標誌請求一個"冷"頁, 它在一段時間沒被使用。它對分配頁做 DMA 讀是有用的, 此時在處理器緩衝中出現是無用的。一個完整的對如何分配 DMA 緩存的討論看"直接內存存取"一節在第 1 章。
__GFP_NOWARN
這個不多用到的標誌阻止內核來發出警告(使用 printk ), 當一個分配沒法知足。
__GFP_HIGH
這個標誌標識了一個高優先級請求, 它被容許來消耗甚至被內核保留給緊急情況的最後的內存頁。
__GFP_REPEAT

__GFP_NOFAIL

__GFP_NORETRY
這些標誌修改分配器如何動做, 當它有困難知足一個分配。 __GFP_REPEAT 意思是" 更盡力些嘗試" 經過重複嘗試 -- 可是分配可能仍然失敗。 __GFP_NOFAIL 標誌告訴分配器不要失敗; 它盡最大努力來知足要求。使用 __GFP_NOFAIL 是強烈不推薦的; 可能從不會有有效的理由在一個設備驅動中使用它。最後, __GFP_NORETRY 告知分配器當即放棄若是得不到請求的內存。
1.2. size 參數
內核管理系統的物理內存, 這些物理內存只是以頁大小的塊來使用。結果是, kmalloc 看來很是不一樣於一個典型的用戶空間 malloc 實現。一個簡單的, 面向堆的分配技術可能很快有麻煩; 它可能在解決頁邊界時有困難。於是, 內核使用一個特殊的面向頁的分配技術來最好地利用系統RAM。
Linux 處理內存分配經過建立一套固定大小的內存對象池。分配請求被這樣來處理,進入一個持有足夠大的對象的池子而且將整個內存塊遞交給請求者。內存管理方案是很是復雜, 而且細節一般不是所有設備驅動編寫者都感興趣的。
然而, 驅動開發者應當記住的一件事情是, 內核只能分配某些預約義的, 固定大小的字節數組。若是你請求一個任意數量內存,你可能獲得稍微多於你請求的, 至可能是 2 倍數量。一樣, 程序員應當記住 kmalloc 可以處理的最小分配是 32 或者 64 字節,依賴系統的體系所使用的頁大小。
kmalloc 可以分配的內存塊的大小有一個上限。這個限制隨着體系和內核配置選項而變化。若是你的代碼是要徹底可移植,它不能期望能夠分配任何大於 128 KB。
ide

二、kzalloc

用kzalloc申請內存的時候，效果等同於先是用 kmalloc() 申請空間 , 而後用 memset() 來初始化 ,全部申請的元素都被初始化爲 0.函數

 
   view plain 
  
 /** 
  * kzalloc - allocate memory. The memory is set to zero. 
  * @size: how many bytes of memory are required. 
  * @flags: the type of memory to allocate (see kmalloc). 
  */  
 static inline void *kzalloc(size_t size, gfp_t flags)  
 {  
     return kmalloc(size, flags | __GFP_ZERO);  
 }  

kzalloc 函數是帶參數調用kmalloc函數，添加的參數是或了標誌位__GFP_ZERO，
佈局

 
   view plain 
  
 void *__kmalloc(size_t size, gfp_t flags)  
 {  
     struct kmem_cache *s;  
     void *ret;  
   
     if (unlikely(size > SLUB_MAX_SIZE))  
         return kmalloc_large(size, flags);  
   
     s = get_slab(size, flags);  
   
     if (unlikely(ZERO_OR_NULL_PTR(s)))  
         return s;  
   
     ret = slab_alloc(s, flags, -1, _RET_IP_);  
   
     trace_kmalloc(_RET_IP_, ret, size, s->size, flags);  
   
     return ret;  
 }  

這個函數調用trace_kmalloc，flags參數不變，繼續往裏面能夠看到post

 
   view plain 
  
 static __always_inline void *slab_alloc(struct kmem_cache *s,  
         gfp_t gfpflags, int node, unsigned long addr)  
 {  
     void **object;  
     struct kmem_cache_cpu *c;  
     unsigned long flags;  
     unsigned int objsize;  
   
     gfpflags &= gfp_allowed_mask;  
   
     lockdep_trace_alloc(gfpflags);  
     might_sleep_if(gfpflags & __GFP_WAIT);  
   
     if (should_failslab(s->objsize, gfpflags))  
         return NULL;  
   
     local_irq_save(flags);  
     c = get_cpu_slab(s, smp_processor_id());  
     objsize = c->objsize;  
     if (unlikely(!c->freelist || !node_match(c, node)))  
   
         object = __slab_alloc(s, gfpflags, node, addr, c);  
   
     else {  
         object = c->freelist;  
         c->freelist = object[c->offset];  
         stat(c, ALLOC_FASTPATH);  
     }  
     local_irq_restore(flags);  
   
     if (unlikely((gfpflags & __GFP_ZERO) && object))  
         memset(object, 0, objsize);  
   
     kmemcheck_slab_alloc(s, gfpflags, object, c->objsize);  
     kmemleak_alloc_recursive(object, objsize, 1, s->flags, gfpflags);  
   
     return object;  
 }  

這裏主要判斷兩個標誌，WAIT和ZERO，和本文有關的關鍵代碼就是

if (unlikely((gfpflags & __GFP_ZERO) && object))
memset(object, 0, objsize);

三、vmalloc

vmalloc用於申請較大的內存空間，虛擬內存是連續。申請的內存的則位於vmalloc_start～vmalloc_end之間，與物理地址沒有簡單的轉換關係，雖然在邏輯上它們也是連續的，可是在物理上它們不要求連續。

以字節爲單位進行分配，在<linux/vmalloc.h>
void *vmalloc(unsigned long size) 分配的內存虛擬地址上連續，物理地址不連續。
通常狀況下，只有硬件設備才須要物理地址連續的內存，由於硬件設備每每存在於MMU以外，根本不瞭解虛擬地址；但爲了性能上的考慮，內核中通常使用kmalloc(),而只有在須要得到大塊內存時才使用vmalloc，例如當模塊被動態加載到內核當中時，就把模塊裝載到由vmalloc（）分配的內存上。

四、kmalloc、get_free_page和vmalloc的區別：

咱們用下面的程序來演示kmalloc、get_free_page和vmalloc的區別：
#include <linux/module.h>
#include <linux/slab.h>
#include <linux/vmalloc.h>
MODULE_LICENSE("GPL");
unsigned char *pagemem;
unsigned char *kmallocmem;
unsigned char *vmallocmem;

int __init mem_module_init(void)
{
//最好每次內存申請都檢查申請是否成功
//下面這段僅僅做爲演示的代碼沒有檢查
pagemem = (unsigned char*)get_free_page(0);
printk("<1>pagemem addr=%x", pagemem);

kmallocmem = (unsigned char*)kmalloc(100, 0);
printk("<1>kmallocmem addr=%x", kmallocmem);

vmallocmem = (unsigned char*)vmalloc(1000000);
printk("<1>vmallocmem addr=%x", vmallocmem);

return 0;
}

void __exit mem_module_exit(void)
{
free_page(pagemem);
kfree(kmallocmem);
vfree(vmallocmem);
}

module_init(mem_module_init);
module_exit(mem_module_exit);

咱們的系統上有160MB的內存空間，運行一次上述程序，發現pagemem的地址在0xc7997000（約3G+121M）、kmallocmem 地址在0xc9bc1380（約3G+155M）、vmallocmem的地址在0xcabeb000（約3G+171M）處，符合前文所述的內存佈局。

五、malloc

malloc內存分配和Kmalloc類似，除非被阻塞不然他執行的速度很是快，並且不對得到空間清零。

malloc分配的是用戶的內存。

使用 void *malloc(size_t size)

本文參考資料：

http://blog.csdn.net/macrossdzh/article/details/5958368

http://hi.baidu.com/yangyingchao/item/d1ca44d000fcc4b832db905f

http://blog.csdn.net/armeasy/article/details/6861978

感謝以上做者的分享

linux內存管理之malloc、vmalloc、kmalloc的區別

一、kmalloc和vmalloc是分配的是內核的內存,malloc分配的是用戶的內存
二、kmalloc保證分配的內存在物理上是連續的,內存只有在要被DMA訪問的時候才須要物理上連續，malloc和vmalloc保證的是在虛擬地址空間上的連續

三、kmalloc能分配的大小有限,vmalloc和malloc能分配的大小相對較大

四、vmalloc比kmalloc要慢。儘管在某些狀況下才須要物理上連續的內存塊，可是不少內核代碼都用kmalloc來得到內存，而不是vmalloc。這主要是出於性能的考慮。vmalloc函數爲了把物理內存上不連續的頁轉換爲虛擬地址空間上連續的頁，必須專門創建頁表項。糟糕的是，經過vmalloc得到的頁必須一個個地進行映射，由於它們物理上是不連續的，這就會致使比直接內存映射大得多的TLB抖動，vmalloc僅在不得已時纔會用--典型的就是爲了得到大塊內存時。

malloc的實現原理

malloc函數的實質體如今，它有一個將可用的內存塊鏈接爲一個長長的列表的所謂空閒鏈表(全局變量，一個內存塊的鏈表指針)。調用malloc函數時，它沿鏈接表尋找一個大到足以知足用戶請求所須要的內存塊。而後，將該內存塊一分爲二（一塊的大小與用戶請求的大小相等，另外一塊的大小就是剩下的字節）。接下來，將分配給用戶的那塊內存傳給用戶，並將剩下的那塊（若是有的話）返回到鏈接表上。調用free函數時，它將用戶釋放的內存塊鏈接到空閒鏈上。到最後，空閒鏈會被切成不少的小內存片斷，若是這時用戶申請一個大的內存片斷，那麼空閒鏈上可能沒有能夠知足用戶要求的片斷了。因而，malloc函數請求延時，並開始在空閒鏈上翻箱倒櫃地檢查各內存片斷，對它們進行整理，將相鄰的小空閒塊合併成較大的內存塊。 malloc（）在操做系統中的實現在 C 程序中，屢次使用malloc () 和 free()。不過，您可能沒有用一些時間去思考它們在您的操做系統中是如何實現的。本節將向您展現 malloc 和 free 的一個最簡化實現的代碼，來幫助說明管理內存時都涉及到了哪些事情。在大部分操做系統中，內存分配由如下兩個簡單的函數來處理： void *malloc (long numbytes)：該函數負責分配 numbytes 大小的內存，並返回指向第一個字節的指針。 void free(void *firstbyte)：若是給定一個由先前的 malloc 返回的指針，那麼該函數會將分配的空間歸還給進程的「空閒空間」。

malloc_init 將是初始化內存分配程序的函數。它要完成如下三件事：將分配程序標識爲已經初始化，找到系統中最後一個有效內存地址，而後創建起指向咱們管理的內存的指針。這三個變量都是全局變量：

如前所述，被映射的內存的邊界（最後一個有效地址）常被稱爲系統中斷點或者當前中斷點。在不少 UNIX? 系統中，爲了指出當前系統中斷點，必須使用sbrk(0) 函數。 sbrk 根據參數中給出的字節數移動當前系統中斷點，而後返回新的系統中斷點。使用參數 0 只是返回當前中斷點。這裏是咱們的 malloc 初始化代碼，它將找到當前中斷點並初始化咱們的變量

如今，爲了徹底地管理內存，咱們須要可以追蹤要分配和回收哪些內存。在對內存塊進行了 free 調用以後，咱們須要作的是諸如將它們標記爲未被使用的等事情，而且，在調用 malloc 時，咱們要可以定位未被使用的內存塊。所以， malloc返回的每塊內存的起始處首先要有這個結構：

如今，您可能會認爲當程序調用 malloc 時這會引起問題 —— 它們如何知道這個結構？答案是它們沒必要知道；在返回指針以前，咱們會將其移動到這個結構以後，把它隱藏起來。這使得返回的指針指向沒有用於任何其餘用途的內存。那樣，從調用程序的角度來看，它們所獲得的所有是空閒的、開放的內存。而後，當經過 free() 將該指針傳遞回來時，咱們只須要倒退幾個內存字節就能夠再次找到這個結構。在討論分配內存以前，咱們將先討論釋放，由於它更簡單。爲了釋放內存，咱們必需要作的唯一一件事情就是，得到咱們給出的指針，回退 sizeof(structmem_control_block) 個字節，並將其標記爲可用的。這裏是對應的代碼：

如您所見，在這個分配程序中，內存的釋放使用了一個很是簡單的機制，在固定時間內完成內存釋放。分配內存稍微困難一些。咱們主要使用鏈接的指針遍歷內存來尋找開放的內存塊。這裏是代碼：

這就是咱們的內存管理器。如今，咱們只須要構建它，並在程序中使用它便可.屢次調用 malloc（）後空閒內存被切成不少的小內存片斷，這就使得用戶在申請內存使用時，因爲找不到足夠大的內存空間，malloc（）須要進行內存整理，使得函數的性能愈來愈低。聰明的程序員經過老是分配大小爲 2 的冪的內存塊，而最大限度地下降潛在的 malloc 性能喪失。也就是說，所分配的內存塊大小爲4 字節、8 字節、16 字節、18446744073709551616 字節，等等。這樣作最大限度地減小了進入空閒鏈的怪異片斷（各類尺寸的小片斷都有）的數量。儘管看起來這好像浪費了空間，但也容易看出浪費的空間永遠不會超過 50%。