******************************************************************
By Sky
http://blog.csdn.net/ykdsea/
****************************************************************** html
本文基於android 4.4所用的dlmalloc版本進行分析。
malloc/free work flow android
malloc/free是libc庫提供的函數,主要是用戶層的操做,而不是內核的系統調用。
通常的heap管理是經過sbrk或者mmap函數來向系統獲取大量的內存(只是虛擬的內存地址),而後由特定的heap管理算法來管理用戶程序申請/釋放內存(好比dlmalloc)。有一點注意,brk/sbrk獲取的只是虛擬地址,當這些地址被訪問的時候,纔會產生page fault,真實的物理內存纔會被分配出來。
Free的時候,內存也只是返還給內存管理程序了,而不是直接返還給系統。當內存管理程序發現保留了過多的內存的時候,能夠經過umap或者brk/sbrk來把內存還給系統。
mmap的使用:
通常狀況下,系統是使用brk/sbrk來擴展可用內存的。在某些特殊狀況下,會考慮使用mmap來直接申請對應的內存,這個作法能夠減小內存中空洞存在,他的缺點是速度比較慢。
在dlmalloc中,是在查找沒有可用的free chunk的時候,而且分配的size大於必定的值的時候,會使用mmap直接分配。 算法
dlmalloc 數組
android中採用的dlmalloc爲默認的heap管理算法。
dlmalloc的介紹說明:http://gee.cs.oswego.edu/dl/html/malloc.html
dlmalloc的配置:(基於android 4.4的code)
dlmalloc中有配置選項來適應不一樣的使用環境。
USE_LOCKS:是否使用lock,在多線程使用環境下須要考慮enable,若是外部已經有所就不須要了。
HAVE_MMAP:系統是否支持mmap。
USE_DL_PREFIX:是否須要提供dl相關的接口。
MSPACES:是否須要提供mspace相關的接口。
ONLY_MSPACES:是否只提供mspace相關的接口。
DEFAULT_MMAP_THRESHOLD:使用mmap進行分配的閥值。
dlmalloc的管理策略:
Boundary Tags (邊界標記)
在分配的chunk的頭部和尾部都記錄了當前chunk的size。
這樣有兩個好處:
1)從任意一個chunk均可以訪問前一個/後一個chunk。
2)方便相鄰的兩個chunk合併爲一個大的chunk。
Binning (分箱)
binning是按照byte size來分的,低於256 bytes的chunk,以8爲增量,分爲8,16,24...256bytes來分箱,每一個bin中全部的free chunk用鏈表來組織。
大於256 bytes的chunk,是用tree來維護free chunk的(同時配合使用了鏈表)。
分箱的好處是:
浪費少許內存,來達到快速分配的目的。在分配的時候,能夠直接找到對應的bin來拿到free chunk。 數據結構
關鍵的數據結構理解 多線程
malloc_chunk 函數
struct malloc_chunk { size_t prev_foot; /* Size of previous chunk (if free). */ size_t head; /* Size and inuse bits. */ struct malloc_chunk* fd; /* double links -- used only if free. */ struct malloc_chunk* bk; };
prev_foot
prev_foot是記錄前一個chunk的size,可是這個成員的設置並非在當前的chunk創建的時候去作的。
在使用的時候,當某個chunk被申請了,他會使用
#define set_foot(p, s) (((mchunkptr)((char*)(p) + (s)))->prev_foot = (s))
在他的data後面設定他的size,他實際操做的是下一個chunk的prev_root的值。
這個和http://gee.cs.oswego.edu/dl/html/malloc.html裏面的圖示也是一致的,在頭部和尾部保留了當前chunk的size。
這邊有疑問:爲何前一個chunk的尾部必定後一個chunk的頭部?
1,申請內存的時候,是按照8bytes爲界分配的(包括額外的信息)。
2,由於採用分箱的策略,分配的時候,老是從大的chunk分裂出小的chunk出來的,因此能夠保證不會存在
不能使用的memory hole在內存中。
這兩點保證全部的chunk是連續在一塊兒的,並且能夠直接合並,在合併以後他們的字節數仍是8 bytes爲界的。
head
head中記錄了當前chunk的狀態,還有size。
狀態佔用低3個bit(由於chunk爲8bytes倍數,因此低3位一直是0的)。
fd和bk
fd是forward pointer,bk是backward pointer,他們是構成Free list的時候指向前一個和後一個free chunk用的。
須要注意的時候,他們只在free chunk中使用,而在used chunk中不須要使用,因此沒有爲他們分配分配內存,是直接使用了
free chunk中user data部分的內存。 ui
malloc_state spa
struct malloc_state { binmap_t smallmap; binmap_t treemap; size_t dvsize; size_t topsize; char* least_addr; mchunkptr dv; mchunkptr top; size_t trim_check; size_t release_checks; size_t magic; mchunkptr smallbins[(NSMALLBINS+1)*2]; tbinptr treebins[NTREEBINS]; size_t footprint; size_t max_footprint; size_t footprint_limit; /* zero means no limit */ flag_t mflags; #if USE_LOCKS MLOCK_T mutex; /* locate lock among fields that rarely change */ #endif /* USE_LOCKS */ msegment seg; void* extp; /* Unused but available for extensions */ size_t exts; };
malloc_state是整個malloc全局的信息的保存。下面看看幾個關鍵的成員變量。
mchunkptr smallbins[(NSMALLBINS+1)*2]
smallbins是對於small chunk的分箱(即小於256 bytes的chunk的bins)。smallbins對每一個bin都構造了一個雙向的鏈表,free的chunk link在當前的
bin中。
smallbins的長度(NSMALLBINS+1)*2是如何來的?
smallbins主要是構造一個雙向鏈表,裏面只須要保存兩個pointer就能夠實現了,因此他實際須要的是NSMALLBINS*2的大小便可。
同時dlmalloc中爲了使用方便(而且統一)因此使用mallochunk結構中的fd和bk來指向chunk,因此在在數組頭部pad了sizeof(prev_foot)+sizeof(head)=2個pointer的寬度。
這樣就獲得了NSMALLBINS*2+2 = (NSMALLBINS+1)*2的數組寬度了。
如何計算對應的bin index?
small bins是以8 bytes爲間隔區分的,因此申請的size >> 3,就能夠獲得與之對應的bin index。
對應的宏是:#define smallbin_at(M, i) ((sbinptr)((void*)&((M)->smallbins[(i)<<1]))) .net
tbinptr treebins[NTREEBINS]
treebins是對於大於256 bytes的chunk的bins。關於treebins能夠參考文章:http://blog.sina.com.cn/s/blog_5674d18801019x0f.html
treebins中每一個bin是用tree來管理的,因此只須要一個pointer來指向tree的root便可。
smallbins很簡單以8bytes爲step去分箱,那對於treebins是如何作的?
從code裏面能夠看到從malloc size計算出bin的方法以下
#define compute_tree_index(S, I)\ {\ unsigned int X = S >> TREEBIN_SHIFT;\ if (X == 0)\ I = 0;\ else if (X > 0xFFFF)\ I = NTREEBINS-1;\ else {\ unsigned int K = (unsigned) sizeof(X)*__CHAR_BIT__ - 1 - (unsigned) __builtin_clz(X); \ I = (bindex_t)((K << 1) + ((S >> (K + (TREEBIN_SHIFT-1)) & 1)));\ }\ }
idx的劃分主要是考慮0x100 ~ 0xFFFF00這段size如何被劃分到0 ~ 30 index的bin中去的。
第一行K的運算中,__builtin_clz(X)先計算出了1以前有多少個0,而後用32 - 1去減,計算獲得了最高位1以後的位數,注意這個是右移8位以後的計算結果,K + TREEBIN_SHIFT纔是原始size的最高位1以後的位數。
第二行的運算中,K<<1,首先是按照最高位的offset(0 ~ 15)cast到(0~30),而((S >> (K + (TREEBIN_SHIFT-1)) & 1)),這一步實際檢查最高位1的低1位是0仍是1。
這樣看就很清楚了,實際是根據最高位1以後的位數先把數值分紅了15份,而後再把每一份一份爲2,獲得了最終0~30的映射。
如0x1000,最高位1後面的位數是4,獲得它的idx範圍是8~9,又由於低1位爲0,因此他對應的idx就是8.
每一個bin當中的tree是如何組織的?
分析宏
/* Insert chunk into tree */ #define insert_large_chunk(M, X, S) {\ tbinptr* H;\ bindex_t I;\ compute_tree_index(S, I);\ H = treebin_at(M, I);\ X->index = I;\ X->child[0] = X->child[1] = 0;\ if (!treemap_is_marked(M, I)) {\ mark_treemap(M, I);\ *H = X;\ X->parent = (tchunkptr)H;\ X->fd = X->bk = X;\ }\ else {\ tchunkptr T = *H;\ size_t K = S << leftshift_for_tree_index(I);\ for (;;) {\ if (chunksize(T) != S) {\ tchunkptr* C = &(T->child[(K >> (SIZE_T_BITSIZE-SIZE_T_ONE)) & 1]);\ K <<= 1;\ if (*C != 0)\ T = *C;\ else if (RTCHECK(ok_address(M, C))) {\ *C = X;\ X->parent = T;\ X->fd = X->bk = X;\ break;\ }\ else {\ CORRUPTION_ERROR_ACTION(M);\ break;\ }\ }\ else {\ tchunkptr F = T->fd;\ if (RTCHECK(ok_address(M, T) && ok_address(M, F))) {\ T->fd = F->bk = X;\ X->fd = F;\ X->bk = T;\ X->parent = 0;\ break;\ }\ else {\ CORRUPTION_ERROR_ACTION(M);\ break;\ }\ }\ }\ }\ }
從代碼中能夠看出插入節點的時候,
1,若是當前tree節點值和插入的一致,那麼把這個節點插入到當前tree節點的鏈表中去。
2,若是不相等,除去最高兩位的節點,檢測以後每一個bit是0仍是1,來確認是選擇節點的left child仍是right child。
這樣的策略,保證了對於任意一個節點,他的左子樹上的節點值老是小於右子樹上的值的。可是對於某個節點來講,他和他子樹上節點的關係,只是保證不相等,不能保證必定大於或者小於他的子樹的值。策略和trie tree相似了,可是又有一些差別。
find算法是怎麼樣的?
知道了insert的邏輯,那麼find就比較好理解了。主要須要注意的是節點和子樹的關係是不肯定的,在find的時候,須要作比較。
smallmap和treemap binmap_t是一個32bit的unsigned log,他的每一個bit對應分箱策略中某個箱子是否有有效的chunk包含在內,這樣主要是爲了方便在分配的時候,快速查找到有效的bin。 smallmap對應着smallbins的每一個bin的狀態。 treemap對應着treebins的每一個bin的狀態。