前言java
HashMap非線程安全的,HashTable是線程安全的,全部涉及到多線程操做的都加上了synchronized關鍵字來鎖住整個table,這就意味着全部的線程都在競爭一把鎖,在多線程的環境下,它是安全的,可是無疑效率低下的。node
ConcurrentHashMap(JDK1.7)算法
在JDK1.7中,ConcurrentHashMap的數據結構是由一個Segment數組和多個HashEntry組成的,如圖:數組
Segment數組的意義就是將一個大的table分割成多個小的table來進行加鎖,也就是鎖分離技術,而每個Segment元素存儲的是HashEntry數組+ 鏈表。分段是一開始就肯定的,後期不能再進行擴容(即併發度不能改變),可是單個Segment裏面的數組是能夠擴容的。安全
而JDK1.8中,是bin擴容(併發度可變)。數據結構
put多線程
對於ConcurrentHashMap的數據插入,這裏要進行兩次Hash去定位數據的存儲位置。併發
static class Segment<K,V> extends ReentrantLock implements Serializable { }
從上Segment的繼承體系能夠看出,Segment實現了ReentrantLock,也就帶有鎖的功能,當執行put操做時,會進行第一次key的hash來定位Segment的位置,若是該Segment尚未初始化,即經過CAS操做進行賦值,而後進行第二次hash操做,找到相應的HashEntry的位置,這裏會利用繼承過來的鎖的特性,在將數據插入指定的HashEntry位置時(鏈表的尾端),會經過繼承ReentrantLock的tryLock()方法嘗試去獲取鎖,若是獲取成功就直接插入相應的位置,若是已經有線程獲取該Segment的鎖,那當前線程會以自旋的方式去繼續的調用tryLock()方法去獲取鎖,超過指定次數就掛起,等待喚醒。dom
getide
ConcurrentHashMap的get操做跟HashMap相似,只是ConcurrentHashMap第一次須要通過一次hash定位到Segment的位置,而後再hash定位到指定的HashEntry,遍歷該HashEntry下的鏈表進行對比,成功就返回,不成功就返回null。
size
計算ConcurrentHashMap的元素大小是一個有趣的問題,由於他是併發操做的,就是在你計算size的時候,他還在併發的插入數據,可能會致使你計算出來的size和你實際的size有相差(在你return size的時候,插入了多個數據),要解決這個問題,JDK1.7版本用兩種方案:
try { for (;;) { if (retries++ == RETRIES_BEFORE_LOCK) { for (int j = 0; j < segments.length; ++j) ensureSegment(j).lock(); // force creation } sum = 0L; size = 0; overflow = false; for (int j = 0; j < segments.length; ++j) { Segment<K,V> seg = segmentAt(segments, j); if (seg != null) { sum += seg.modCount; int c = seg.count; if (c < 0 || (size += c) < 0) overflow = true; } } if (sum == last) break; last = sum; } } finally { if (retries > RETRIES_BEFORE_LOCK) { for (int j = 0; j < segments.length; ++j) segmentAt(segments, j).unlock(); } }
ConcurrentHashMap(JDK1.8)
JDK1.8的實現已經摒棄了Segment的概念,而是直接用Node數組+鏈表+紅黑樹的數據結構來實現,併發控制使用Synchronized和CAS來操做,整個看起來就像是優化過且線程安全的HashMap,雖然在JDK1.8中還能看到Segment的數據結構,可是已經簡化了屬性,只是爲了兼容舊版本;loadFactor僅用於構造函數中設定初始容量,已經不能影響擴容閾值,JDK1.8中閾值計算基本恆定爲0.75;concurrencyLevel隻影響初始容量,後續的併發度大小依賴於table數組的大小。
先看一些常量設計和數據結構:
// node數組最大容量:2^30=1073741824 private static final int MAXIMUM_CAPACITY = 1 << 30; // 默認初始值,必須是2的幕數 private static final int DEFAULT_CAPACITY = 16; //數組可能最大值,須要與toArray()相關方法關聯 static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8; //併發級別,遺留下來的,爲兼容之前的版本 private static final int DEFAULT_CONCURRENCY_LEVEL = 16; // 負載因子 private static final float LOAD_FACTOR = 0.75f; // 鏈表轉紅黑樹閥值,> 8 鏈表轉換爲紅黑樹 static final int TREEIFY_THRESHOLD = 8; //樹轉鏈表閥值,小於等於6(tranfer時,lc、hc=0兩個計數器分別++記錄原bin、新binTreeNode數量,<=UNTREEIFY_THRESHOLD 則untreeify(lo)) static final int UNTREEIFY_THRESHOLD = 6; static final int MIN_TREEIFY_CAPACITY = 64; private static final int MIN_TRANSFER_STRIDE = 16; private static int RESIZE_STAMP_BITS = 16; // 2^15-1,help resize的最大線程數 private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1; // 32-16=16,sizeCtl中記錄size大小的偏移量 private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS; // forwarding nodes的hash值 static final int MOVED = -1; // 樹根節點的hash值 static final int TREEBIN = -2; // ReservationNode的hash值 static final int RESERVED = -3; // 可用處理器數量 static final int NCPU = Runtime.getRuntime().availableProcessors(); //存放node的數組 transient volatile Node<K,V>[] table; /*控制標識符,用來控制table的初始化和擴容的操做,不一樣的值有不一樣的含義 *當爲負數時:-1表明正在初始化,-N表明有N-1個線程正在 進行擴容 *當爲0時(默認值):表明當時的table尚未被初始化 *當爲正數時:表示初始化或者下一次進行擴容的大小
*/ private transient volatile int sizeCtl;
基本屬性定義了ConcurrentHashMap的一些邊界以及操做時的一些控制。
類圖
Node是ConcurrentHashMap存儲結構的基本單元,實現了Map.Entry接口,用於存儲數據。它對value和next屬性設置了volatile同步鎖(與JDK7的Segment相同),它不容許調用setValue方法直接改變Node的value域,它增長了find方法輔助map.get()方法。
TreeNode繼承於Node,可是數據結構換成了二叉樹結構,它是紅黑樹的數據的存儲結構,用於紅黑樹中存儲數據,當鏈表的節點數大於8時會轉換成紅黑樹的結構,他就是經過TreeNode做爲存儲結構代替Node來轉換成黑紅樹。
TreeBin從字面含義中能夠理解爲存儲樹形結構的容器,而樹形結構就是指TreeNode,因此TreeBin就是封裝TreeNode的容器,它提供轉換黑紅樹的一些條件和鎖的控制。
ForwardingNode一個用於鏈接兩個table的節點類。它包含一個nextTable指針,用於指向下一張表。並且這個節點的key value next指針所有爲null,它的hash值爲-1. 這裏面定義的find的方法是從nextTable裏進行查詢節點,而不是以自身爲頭節點進行查找。
Unsafe和CAS
在ConcurrentHashMap中,隨處能夠看到U, 大量使用了U.compareAndSwapXXX的方法,這個方法是利用一個CAS算法實現無鎖化的修改值的操做,他能夠大大下降鎖代理的性能消耗。這個算法的基本思想就是不斷地去比較當前內存中的變量值與你指定的一個變量值是否相等,若是相等,則接受你指定的修改的值,不然拒絕你的操做。由於當前線程中的值已經不是最新的值,你的修改極可能會覆蓋掉其餘線程修改的結果。這一點與樂觀鎖,SVN的思想是比較相似的。
private static final sun.misc.Unsafe U; private static final long SIZECTL; private static final long TRANSFERINDEX; private static final long BASECOUNT; private static final long CELLSBUSY; private static final long CELLVALUE; private static final long ABASE; private static final int ASHIFT; static { try { U = sun.misc.Unsafe.getUnsafe(); Class<?> k = ConcurrentHashMap.class; SIZECTL = U.objectFieldOffset (k.getDeclaredField("sizeCtl")); TRANSFERINDEX = U.objectFieldOffset (k.getDeclaredField("transferIndex")); BASECOUNT = U.objectFieldOffset (k.getDeclaredField("baseCount")); CELLSBUSY = U.objectFieldOffset (k.getDeclaredField("cellsBusy")); Class<?> ck = CounterCell.class; CELLVALUE = U.objectFieldOffset (ck.getDeclaredField("value")); Class<?> ak = Node[].class; ABASE = U.arrayBaseOffset(ak); int scale = U.arrayIndexScale(ak); if ((scale & (scale - 1)) != 0) throw new Error("data type scale not a power of two"); ASHIFT = 31 - Integer.numberOfLeadingZeros(scale); } catch (Exception e) { throw new Error(e); } }
ConcurrentHashMap定義了三個原子操做,用於對指定位置的節點進行操做。正是這些原子操做保證了ConcurrentHashMap的線程安全。
// 獲取tab數組的第i個node
@SuppressWarnings("unchecked") static final <K,V> Node<K,V> tabAt(Node<K,V>[] tab, int i) { return (Node<K,V>)U.getObjectVolatile(tab, ((long)i << ASHIFT) + ABASE); } // 利用CAS算法設置i位置上的node節點。在CAS中,會比較內存中的值與你指定的這個值是否相等,若是相等才接受
// 你的修改,不然拒絕修改,即這個操做有可能不成功。 static final <K,V> boolean casTabAt(Node<K,V>[] tab, int i, Node<K,V> c, Node<K,V> v) { return U.compareAndSwapObject(tab, ((long)i << ASHIFT) + ABASE, c, v); } // 利用volatile方法設置第i個節點的值,這個操做必定是成功的。 static final <K,V> void setTabAt(Node<K,V>[] tab, int i, Node<K,V> v) { U.putObjectVolatile(tab, ((long)i << ASHIFT) + ABASE, v); }
get
經過key獲取value
public V get(Object key) { Node<K,V>[] tab; Node<K,V> e, p; int n, eh; K ek;
// 計算hash值 int h = spread(key.hashCode());
// 若是tab不空而且bin裏面的節點不爲空 if ((tab = table) != null && (n = tab.length) > 0 && (e = tabAt(tab, (n - 1) & h)) != null) { if ((eh = e.hash) == h) { // 若是bin裏面的頭節點就是須要查詢的value if ((ek = e.key) == key || (ek != null && key.equals(ek))) return e.val; } else if (eh < 0) // eh < 0 只有多是MOVED(-1)或TREEBIN(-2) return (p = e.find(h, key)) != null ? p.val : null; while ((e = e.next) != null) { // 鏈表 if (e.hash == h && ((ek = e.key) == key || (ek != null && key.equals(ek)))) return e.val; } } return null; }
put
首先看一下put的源碼:根據hash值計算這個新插入的點在table中的位置i,若是i位置是空的,直接放進去,不然進行判斷,若是i位置是樹節點,按照樹的方式插入新的節點,不然把i插入到鏈public V put(K key, V value) { return putVal(key, value, false);
} /** Implementation for put and putIfAbsent */ final V putVal(K key, V value, boolean onlyIfAbsent) {
// key和value不容許null if (key == null || value == null) throw new NullPointerException(); int hash = spread(key.hashCode()); // 計算hash值 int binCount = 0; for (Node<K,V>[] tab = table;;) { // 死循環,什麼時候插入成功,才跳出 Node<K,V> f; int n, i, fh; if (tab == null || (n = tab.length) == 0) tab = initTable(); // table是在首次插入元素的時候初始化,lazy else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) { if (casTabAt(tab, i, null, // 若是這個位置沒有值,直接放進去,由CAS保證線程安全,不須要加鎖 new Node<K,V>(hash, key, value, null))) break; // no lock when adding to empty bin } else if ((fh = f.hash) == MOVED) // 參與擴容 tab = helpTransfer(tab, f); else { V oldVal = null;
// 節點上鎖,這裏的節點能夠理解爲hash值相同組成的鏈表的頭節點,鎖的粒度爲頭節點。 synchronized (f) { if (tabAt(tab, i) == f) { if (fh >= 0) { // 普通Node的hash值爲key的hash值大於零,而ForwardingNode的是-1,TreeBin是-2 binCount = 1; for (Node<K,V> e = f;; ++binCount) { // 主要遍歷鏈表到最後,而後增長新節點 K ek; if (e.hash == hash && ((ek = e.key) == key || (ek != null && key.equals(ek)))) { oldVal = e.val; if (!onlyIfAbsent) e.val = value; break; } Node<K,V> pred = e; if ((e = e.next) == null) { // 在鏈表最後插入新節點 pred.next = new Node<K,V>(hash, key, value, null); break; } } } else if (f instanceof TreeBin) { // 若是是數節點,就按照樹的方式插入節點。 Node<K,V> p; binCount = 2; if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key, value)) != null) { oldVal = p.val; if (!onlyIfAbsent) p.val = value; } } } } if (binCount != 0) { if (binCount >= TREEIFY_THRESHOLD)// 若是鏈表長度大於等於8,則試着把鏈表轉樹 treeifyBin(tab, i); if (oldVal != null) return oldVal; break; } } } addCount(1L, binCount);// 數量 + 1; return null; }
JDK8中的實現也是鎖分離思想,只是鎖住的是一個node,而不是JDK7中的Segment;鎖住Node以前的操做是基於在volatile和CAS之上無鎖而且線程安全的。
put操做的流程圖以下:
從put能夠看出有幾個操做比較重要,下面咱們就重點講解這幾個方法:initTable,helpTransfer,treeifyBin,addCount
initTable初始化
初始化方法主要應用了關鍵屬性sizeCtl 若是這個值小於0,表示其餘線程正在進行初始化,就放棄這個操做。在這也能夠看出ConcurrentHashMap的初始化只能由一個線程完成。若是得到了初始化權限,就用CAS方法將sizeCtl置爲-1,防止其餘線程進入。初始化數組後,將sizeCtl的值改成0.75*n。
private final Node<K,V>[] initTable() { Node<K,V>[] tab; int sc; while ((tab = table) == null || tab.length == 0) { if ((sc = sizeCtl) < 0)// sizeCtl < 0 標示有其餘線程正在進行初始化操做,把線程讓出cpu,對於table的廚師操做,只能有一個線程在進行 Thread.yield(); // lost initialization race; just spin else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) { // 利用CAS把sizeCtl設置爲-1,標示本線程正在進行初始化,同一個時刻只有一個線程能更新成功,失敗的從新循環,發現sizeCtl已經 < 0 try {
// 爲何還要判斷,由於:若是走到下面的finally改變了sizeCtl值,有可能其餘線程是會進入這個邏輯的 if ((tab = table) == null || tab.length == 0) { int n = (sc > 0) ? sc : DEFAULT_CAPACITY; // 默認大小是16 @SuppressWarnings("unchecked") Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n]; table = tab = nt; sc = n - (n >>> 2); // 0.75*n,下一次擴容閾值 } } finally { sizeCtl = sc; } break; } } return tab; }
transfer
當ConcurrentHashMap容量不足的時候,須要對table進行擴容,它支持併發擴容,卻沒有鎖。
擴容的場景:
(1)往hashMap中成功插入一個key/value節點時,有可能觸發擴容動做:所在鏈表的元素個數達到了閾值 8,則會調用treeifyBin
方法把鏈表轉換成紅黑樹,不過在結構轉換以前,會對數組長度進行判斷,若是小於64,則優先擴容,而不是鏈表轉樹。
(2)新增節點以後,會調用addCount
方法記錄元素個數,並檢查是否須要進行擴容,當數組元素個數達到閾值時,會觸發transfer
方法,從新調整節點的位置。
整個擴容操做分爲兩個部分
第一部分是構建一個nextTable,它的容量是原來的兩倍,這個操做是單線程完成的。這個單線程的保證是經過RESIZE_STAMP_SHIFT這個常量通過一次運算來保證的,這個地方在後面會有提到;
// 擴容操做 private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) { int n = tab.length, stride;
// 每核處理的量小於16,則強制賦值16 if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE) stride = MIN_TRANSFER_STRIDE; // subdivide range if (nextTab == null) { // 構造一個2倍的Node數組 try { @SuppressWarnings("unchecked") Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1]; nextTab = nt; } catch (Throwable ex) { // try to cope with OOME sizeCtl = Integer.MAX_VALUE; return; } nextTable = nextTab; transferIndex = n; } int nextn = nextTab.length;
// 初始化fwd節點,其中保存了新數組nextTable的引用,在處理完每一個bin的節點以後
// 當作佔位節點,表示該bin已經被處理過了 ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab); boolean advance = true; boolean finishing = false; // to ensure sweep before committing nextTab
// 經過for循環處理每一個bin中的鏈表元素
// i:表示當前處理的bin序號,bound:表示須要處理的bin邊界,處理是從數組的最後一個bin開始 for (int i = 0, bound = 0;;) { Node<K,V> f; int fh;
// 這個while實際上是肯定下一個須要處理的bin while (advance) { int nextIndex, nextBound; if (--i >= bound || finishing) advance = false; else if ((nextIndex = transferIndex) <= 0) { i = -1; advance = false; } else if (U.compareAndSwapInt (this, TRANSFERINDEX, nextIndex, nextBound = (nextIndex > stride ? nextIndex - stride : 0))) { bound = nextBound; i = nextIndex - 1; advance = false; } } if (i < 0 || i >= n || i + n >= nextn) { int sc; if (finishing) { // 整個擴容結束的標誌 nextTable = null; table = nextTab; sizeCtl = (n << 1) - (n >>> 1); return; } if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) { if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT) return; finishing = advance = true; i = n; // recheck before commit } } else if ((f = tabAt(tab, i)) == null) // 若是bin爲空,則經過CAS設置fwd,表示已經處理過了 advance = casTabAt(tab, i, null, fwd); else if ((fh = f.hash) == MOVED) // 若是已經處理過了則設置fwd節點,其hash值爲MOVED(-1) advance = true; // already processed else { synchronized (f) { // 對bin的頭節點(鏈表的頭節點或數的根節點)加鎖 if (tabAt(tab, i) == f) { Node<K,V> ln, hn; if (fh >= 0) { // 鏈表的操做:構建2個鏈表,一個是原鏈表,另外一個是原鏈表的反序排列 int runBit = fh & n; Node<K,V> lastRun = f; for (Node<K,V> p = f.next; p != null; p = p.next) { int b = p.hash & n; if (b != runBit) { runBit = b; lastRun = p; } } if (runBit == 0) { ln = lastRun; hn = null; } else { hn = lastRun; ln = null; } for (Node<K,V> p = f; p != lastRun; p = p.next) { int ph = p.hash; K pk = p.key; V pv = p.val; if ((ph & n) == 0) ln = new Node<K,V>(ph, pk, pv, ln); else hn = new Node<K,V>(ph, pk, pv, hn); } setTabAt(nextTab, i, ln); // 在nextTable的i位置插入鏈表 setTabAt(nextTab, i + n, hn); // 在nextTable的i+n位置插入鏈表 setTabAt(tab, i, fwd); // 在tab的i位置插入fwd節點,標示處理過了 advance = true; } else if (f instanceof TreeBin) { // 樹的操做 TreeBin<K,V> t = (TreeBin<K,V>)f; TreeNode<K,V> lo = null, loTail = null; TreeNode<K,V> hi = null, hiTail = null; int lc = 0, hc = 0; for (Node<K,V> e = t.first; e != null; e = e.next) { int h = e.hash; TreeNode<K,V> p = new TreeNode<K,V> (h, e.key, e.val, null, null); if ((h & n) == 0) { if ((p.prev = loTail) == null) lo = p; else loTail.next = p; loTail = p; ++lc; } else { if ((p.prev = hiTail) == null) hi = p; else hiTail.next = p; hiTail = p; ++hc; } }
// 若是樹<=6,則樹轉數組 ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) : (hc != 0) ? new TreeBin<K,V>(lo) : t; hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) : (lc != 0) ? new TreeBin<K,V>(hi) : t; setTabAt(nextTab, i, ln); setTabAt(nextTab, i + n, hn); setTabAt(tab, i, fwd); advance = true; } } } } } }
狀態變化圖:
(1)初始化有一個16大小的數組:
(2)建立一個二倍大小的nextTable,而且new ForwardingNode<K,V>(nextTab)
(3)從後往前移動tab中元素到nextTable,好比:已經把tab[10-15]移動到nextTable中的狀態圖爲:
treeifyBin
在put操做中,若是發現鏈表結構中的元素超過8個,則會把鏈表轉換爲紅黑樹,便於提升查詢效率。
private final void treeifyBin(Node<K,V>[] tab, int index) { Node<K,V> b; int n, sc; if (tab != null) {
// 若是tab長度小於64,則優先擴容(2倍擴展),而不是鏈表轉樹。 if ((n = tab.length) < MIN_TREEIFY_CAPACITY) tryPresize(n << 1); else if ((b = tabAt(tab, index)) != null && b.hash >= 0) { synchronized (b) { // 對bin的頭節點加鎖,保證整個紅黑樹的創建是同步的 if (tabAt(tab, index) == b) { TreeNode<K,V> hd = null, tl = null; // 建立TreeNode節點 for (Node<K,V> e = b; e != null; e = e.next) { TreeNode<K,V> p = new TreeNode<K,V>(e.hash, e.key, e.val, null, null); if ((p.prev = tl) == null) hd = p; else tl.next = p; tl = p; } setTabAt(tab, index, new TreeBin<K,V>(hd)); // 最終設置bin頭結點的值爲TreeBin } } } } }
addCount
把當前ConcurrentHashMap元素個數 + 1,主要有2個步驟:(1)更新baseCount值(2)檢測是否進行擴容
private final void addCount(long x, int check) { CounterCell[] as; long b, s;
// CAS更新baseCount值 if ((as = counterCells) != null || !U.compareAndSwapLong(this, BASECOUNT, b = baseCount, s = b + x)) { CounterCell a; long v; int m; boolean uncontended = true; if (as == null || (m = as.length - 1) < 0 || (a = as[ThreadLocalRandom.getProbe() & m]) == null || !(uncontended = U.compareAndSwapLong(a, CELLVALUE, v = a.value, v + x))) { fullAddCount(x, uncontended); return; } if (check <= 1) return; s = sumCount(); } if (check >= 0) { // 檢測是否須要擴容 Node<K,V>[] tab, nt; int n, sc; while (s >= (long)(sc = sizeCtl) && (tab = table) != null && (n = tab.length) < MAXIMUM_CAPACITY) { int rs = resizeStamp(n); if (sc < 0) { if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 || sc == rs + MAX_RESIZERS || (nt = nextTable) == null || transferIndex <= 0) break; if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) transfer(tab, nt); } else if (U.compareAndSwapInt(this, SIZECTL, sc, (rs << RESIZE_STAMP_SHIFT) + 2)) transfer(tab, null); s = sumCount(); } } }
size
最後,咱們看看size方法