淺析Java7中的ConcurrentHashMap
引入ConcurrentHashMap
模擬使用hashmap在多線程場景下發生線程不安全現象html
import java.util.HashMap;
import java.util.Map;
import java.util.UUID;
/**
* 模擬hashmap在多線程場景下的出現的不安全現象之一
* hashmap還有put丟失，jdk1.7擴容成環的問題
*/
public class Demo2 {
public static void main(String[] args) {
Map<String, String> hashmap = new HashMap<>();
//開30個線程去往hashmap中添加元素
for (int i = 1; i <= 30; i++) {
new Thread(() -> {
hashmap.put(Thread.currentThread().getName(), UUID.randomUUID().toString().substring(0, 5));
System.out.println(hashmap);
}, String.valueOf(i)).start();
}
}
}
運行結果以下，因爲fail-fast機制的存在，出現了併發修改失敗的錯誤java
如何解決該問題呢？node
方式一：使用hashtable數組
Map<String, String> hashmap = new Hashtable<>();安全
方式二：使用Collections.synchronizedMap數據結構
Map<String, String> hashmap = Collections.synchronizedMap(new HashMap<>());多線程
方式三：使用併發集合容器ConcurrentHashMap併發
Map<String, String> hashmap = new ConcurrentHashMap<>();dom
淺析Java7中ConcurrentHashMap源碼
數據結構
ConcurrentHashMap JDK1.7的數據結構是由Segment數組+HashEntry數組組成，其解決hash衝突的方式與jdk1.7中的hashmap方式差很少，解決線程安全是採用一種分段鎖的思想，多個線程操做多個Segment是相互獨立的，這樣一來相比於傳統的hashtable就大大提升了併發度。ssh
咱們在簡單畫個圖來理解分段鎖的思想：數組套數組，多個線程獨立訪問Segment，擴容嵌套數組
Segment與HashEntry
咱們在來看下其Segment數組以及HashEntry數組在源碼中是如何定義的。
先來看看Segment的定義：由如下咱們能夠看到每一個Segment都是繼承的ReentLock，且其內部嵌套的是HashEntry數組，Segment的數量至關於鎖的數量，這些鎖彼此之間福獨立，即「分段鎖」
//之內部類的形式定義，而且繼承的ReentratLock
static final class Segment<K,V> extends ReentrantLock implements Serializable {
private static final long serialVersionUID = 2249069246763182397L;
static final int MAX_SCAN_RETRIES =
Runtime.getRuntime().availableProcessors() > 1 ? 64 : 1;
//由此處也能夠看出Segment內部嵌套的是HashEntry數組
transient volatile HashEntry<K,V>[] table;
//Segment的個數
transient int count;
//modCount表明被修改的次數，每次Remove、put都至關於一次修改
transient int modCount;
//閾值
transient int threshold;
//負載因子
final float loadFactor;
Segment(float lf, int threshold, HashEntry<K,V>[] tab) {
this.loadFactor = lf;
this.threshold = threshold;
this.table = tab;
}
//如下是Segment內部的一些操做
final V put(K key, int hash, V value, boolean onlyIfAbsent) {
.......
}
private void rehash(HashEntry<K,V> node) {
......
}
final V remove(Object key, int hash, Object value) {
....
}
......
在來看看HashEntry的定義
//之內部類的形式定義
static final class HashEntry<K,V> {
final int hash;
final K key;
//採用volatile修飾，保證其可見性和有序性
volatile V value;
volatile HashEntry<K,V> next;
HashEntry(int hash, K key, V value, HashEntry<K,V> next) {
this.hash = hash;
this.key = key;
this.value = value;
this.next = next;
}
//在HashEntry數組後面鏈上HashEntry對象
final void setNext(HashEntry<K,V> n) {
UNSAFE.putOrderedObject(this, nextOffset, n);
}
// Unsafe類是Java提供的操做內存的類，
static final sun.misc.Unsafe UNSAFE;
static final long nextOffset;
static {
try {
UNSAFE = sun.misc.Unsafe.getUnsafe();
Class k = HashEntry.class;
nextOffset = UNSAFE.objectFieldOffset
(k.getDeclaredField("next"));
} catch (Exception e) {
throw new Error(e);
}
}
}
關於Unsafe類中的putOrderedObject方法,摘自Java魔法類：Unsafe應用解析
//存儲變量的引用到對象的指定的偏移量處，使用volatile的存儲語義 public native void putObjectVolatile(Object o, long offset, Object x); //有序、延遲版本的putObjectVolatile方法，不保證值的改變被其餘線程當即看到。只有在field被volatile修飾符修飾時有效，而咱們的HashEntry就是被volatile修飾的 public native void putOrderedObject(Object o, long offset, Object x);
關於Unsafe類，是Java提供的操做內存的類，其內容博大精深。可參考美團技術團隊寫的：Java魔法類：Unsafe應用解析
構造函數
咱們來看下ConcurrentHashMap的構造函數在源碼中是如何定義的
public class ConcurrentHashMap<K, V> extends AbstractMap<K, V>
implements ConcurrentMap<K, V>, Serializable {
private static final long serialVersionUID = 7249069246763182397L;
//默認初始容量
static final int DEFAULT_INITIAL_CAPACITY = 16;
//默認加載因子
static final float DEFAULT_LOAD_FACTOR = 0.75f;
//默認併發等級
static final int DEFAULT_CONCURRENCY_LEVEL = 16;
//最大容量
static final int MAXIMUM_CAPACITY = 1 << 30;
//最小Segment數量
static final int MIN_SEGMENT_TABLE_CAPACITY = 2;
//最大Segment數量
static final int MAX_SEGMENTS = 1 << 16;
//默認構造函數
public ConcurrentHashMap() {
this(DEFAULT_INITIAL_CAPACITY, DEFAULT_LOAD_FACTOR, DEFAULT_CONCURRENCY_LEVEL);
}
public ConcurrentHashMap(int initialCapacity) {
this(initialCapacity, DEFAULT_LOAD_FACTOR, DEFAULT_CONCURRENCY_LEVEL);
}
public ConcurrentHashMap(int initialCapacity, float loadFactor) {
this(initialCapacity, loadFactor, DEFAULT_CONCURRENCY_LEVEL);
}
/**
* initialCapacity：初始參數
* loadFactor：加載因子
* concurrencyLevel：併發級別即Segment的數量
*/
public ConcurrentHashMap(int initialCapacity,
float loadFactor, int concurrencyLevel) {
//非法數校驗
if (!(loadFactor > 0) || initialCapacity < 0 || concurrencyLevel <= 0)
throw new IllegalArgumentException();
if (concurrencyLevel > MAX_SEGMENTS)
concurrencyLevel = MAX_SEGMENTS;
// 用來記錄向左按位移動的次數
int sshift = 0;
//用來記錄Segment的數量
int ssize = 1;
//該段while循環保證Segment的數量是2的冪
while (ssize < concurrencyLevel) {
++sshift;
ssize <<= 1;
}
this.segmentShift = 32 - sshift;
//這裏SegmentMask先提早減一了，
//在hashmap中計算數組下標索引是(table.length-1)&hash
//這裏也能夠推斷出Segment數量一旦肯定不能在變，擴容是擴Segment數組內的HashEntry數組
this.segmentMask = ssize - 1;
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
//每一個Segment數組內要放置多少個HashEntry數組
int c = initialCapacity / ssize;
//確保無餘數
if (c * ssize < initialCapacity)
++c;
//確保每一個Segment內部的HashEntry數組的大小必定爲2的冪，當三個參數皆爲默認值時，其Segment內部的table大小是2，
int cap = MIN_SEGMENT_TABLE_CAPACITY;
while (cap < c)
cap <<= 1;
// create segments and segments[0]
//初始化Segment數組，並填充Segment[0]，閾值是(int)(cap * loadFactor)，當參數皆爲默認時，該值爲1，當put第一個元素時不會擴容，在put就會觸發擴容
Segment<K,V> s0 =
new Segment<K,V>(loadFactor, (int)(cap * loadFactor),
(HashEntry<K,V>[])new HashEntry[cap]);
Segment<K,V>[] ss = (Segment<K,V>[])new Segment[ssize];
UNSAFE.putOrderedObject(ss, SBASE, s0); // ordered write of segments[0]
this.segments = ss;
}
.....
由構造函數能夠看出來
- Segment數量默認是16，初始容量默認是16，負載因子默認是0.75，最小Segment是2
- Segment的數量即爲併發級別，且內部保證是2的冪，Segment內部的table大小也保證爲2的冪
- Segment數量一旦肯定不會在更改，後續添加元素不會增長Segment的數量，而是增長Segment中鏈表數組的容量，這樣的好處是擴容也不用針對整個ConcurrentHashMap來進行了，而是針對Segment裏面的數組
- 初始化了Segment[0]，其餘Segment仍是null
put函數
來看看put函數
public V put(K key, V value) {
Segment<K,V> s;
//value不能爲空
if (value == null)
throw new NullPointerException();
//經過hash函數獲取關於key的hash值
int hash = hash(key);
//計算要插入的Segment數組的下標，位運算提升計算速度，因爲此處使用位運算，因此得保證是2的冪能夠減小hash衝突，具體緣由不詳述
int j = (hash >>> segmentShift) & segmentMask;
//若是要插入的Segment爲初始化，調用ensureSeggment函數進行初始化(初始化concurrentHashMap時只初始化了第一個Segment[0])
if ((s = (Segment<K,V>)UNSAFE.getObject // nonvolatile; recheck
(segments, (j << SSHIFT) + SBASE)) == null) // in ensureSegment
s = ensureSegment(j);
//調用Segment的put函數
return s.put(key, hash, value, false);
}
到如今咱們尚未發現加鎖，在接着看Segment中的put函數，可見是在該函數中加的鎖，這又一次驗證了是分段鎖，計算完了Segment位置後，在針對某一個Segment內部進行插入的時候上鎖。
final V put(K key, int hash, V value, boolean onlyIfAbsent) {
//去獲取獨佔鎖，獲取鎖失敗進入scanAndLockForPut函數
HashEntry<K,V> node = tryLock() ? null :
scanAndLockForPut(key, hash, value);
V oldValue;
//到此處確定已經獲取到鎖了
try {
//Segment內部的HashEntry數組
HashEntry<K,V>[] tab = table;
//計算元素插入的位置
int index = (tab.length - 1) & hash;
//定位到第index個HashEntry
HashEntry<K,V> first = entryAt(tab, index);
//該段for循環使用頭插法將元素進行插入
for (HashEntry<K,V> e = first;;) {
if (e != null) {
K k;
//若是在鏈表中找到相同的key,則新值替換舊值，並退出函數
if ((k = e.key) == key ||
(e.hash == hash && key.equals(k))) {
oldValue = e.value;
//onlyIfAbsent默認爲false，!onlyIfAbsent表示替換舊值
if (!onlyIfAbsent) {
e.value = value;
//修改次數+1
++modCount;
}
break;
}
//若是沒有key值相同的則遍歷到鏈表尾部
e = e.next;
}
else {//已經遍歷到鏈表尾部
if (node != null)//在scanAndLockForPut函數中已經創建好node
node.setNext(first); //把node插入鏈表的頭部
else
//新建node，插入到鏈表頭部
node = new HashEntry<K,V>(hash, key, value, first);
//該count表明元素的個數
int c = count + 1;
//判斷是否超過閾值，超過調用rehash擴容
if (c > threshold && tab.length < MAXIMUM_CAPACITY)
rehash(node);
else
//把node賦值給tab[index]
setEntryAt(tab, index, node);
++modCount;
count = c;
oldValue = null;
break;
}
}
} finally {
//釋放鎖
unlock();
}
return oldValue;
}
Segment內部的put函數涉及到一個scanAndLockForPut函數，多個線程去進行put操做，去競爭鎖，那那些沒獲取到鎖的線程它是如何處理的呢，咱們來看一下scanAndLockForPut函數
private HashEntry<K,V> scanAndLockForPut(K key, int hash, V value) {
HashEntry<K,V> first = entryForHash(this, hash);
HashEntry<K,V> e = first;
HashEntry<K,V> node = null;
int retries = -1; // negative while locating node
while (!tryLock()) {
HashEntry<K,V> f; // to recheck first below
//自旋過程當中遍歷鏈表，若發現沒有重複的key值，則提早先新建一個節點爲後續的插入節約時間
if (retries < 0) {
if (e == null) {
if (node == null) // speculatively create node
node = new HashEntry<K,V>(hash, key, value, null);
retries = 0;
}
else if (key.equals(e.key))
retries = 0;
else
e = e.next;
}
//自旋次數達到若干次後就調用lock()進行阻塞，阻塞後的線程由AQS進行管理入隊列
else if (++retries > MAX_SCAN_RETRIES) {
lock();
break;
}
else if ((retries & 1) == 0 &&
(f = entryForHash(this, hash)) != first) {
e = first = f; // re-traverse if entry changed
retries = -1;
}
}
return node;
}
該函數簡化簡化下來的思想以下：
//線程競爭鎖失敗後進入該函數
private HashEntry<K,V> scanAndLockForPut(K key, int hash, V value) {
//tryLock函數與Lock函數的區別就是tryLock函數獲取鎖失敗會返回false,而不是阻塞
while(!tryLock()){//自旋操做
......
System.out.println("乾點本身的事情...")
}
}
因此scanAndLockForPut函數的策略就是拿不到鎖的線程不讓它直接阻塞，而是讓其自旋，自旋達到必定次數以後在調用lock()進行阻塞，另外在自旋的過程當中遍歷了後面的HashEntry鏈表,若是沒有發現重複的節點就提早先創建一個，爲線程以後拿到鎖插入節省時間。
ensureSegment函數
在ConcurrentHashMap初始化時，只初始化了Segment[0]，其餘的Segment數組都是null，多個線程可能同時調用ensureSegment去初始化Segment[j]，因此在該函數內部應該避免重複初始化的問題，保證其線程安全。
private Segment<K,V> ensureSegment(int k) {
//賦值ss=this.segments
final Segment<K,V>[] ss = this.segments;
long u = (k << SSHIFT) + SBASE; // raw offset
Segment<K,V> seg;
//第一次判斷segment[j]是否被初始化
if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u)) == null) {
//使用segment[0]爲原型去初始化新的segment
Segment<K,V> proto = ss[0]; // use segment 0 as prototype
int cap = proto.table.length;
float lf = proto.loadFactor;
int threshold = (int)(cap * lf);
HashEntry<K,V>[] tab = (HashEntry<K,V>[])new HashEntry[cap];
//第二次判斷segment[j]是否被初始化
if ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u))
== null) { // recheck
Segment<K,V> s = new Segment<K,V>(lf, threshold, tab);
//while循環+CAS操做,當前線程成功設值或其餘線程成功設值後，退出
while ((seg = (Segment<K,V>)UNSAFE.getObjectVolatile(ss, u))
== null) {//第三次判斷segment[j]是否被初始化
if (UNSAFE.compareAndSwapObject(ss, u, null, seg = s))
break;
}
}
}
return seg;
}
可見UNSAFE.getObjectVolatile(ss, u)) == null出現了三次，屢次去判斷segment[j]是否被初始化了，即便如此也不能徹底避免重複初始化，最後還採用CAS操做保證其只被初始化
rehash函數
咱們在來看看具體是如何擴容的,在Segment內部的put函數咱們看到，超過閾值後會進行擴容操做
private void rehash(HashEntry<K,V> node) {
//獲取舊數組和其容量
HashEntry<K,V>[] oldTable = table;
int oldCapacity = oldTable.length;
//擴容爲舊容量的2倍、設置新的閾值
int newCapacity = oldCapacity << 1;
threshold = (int)(newCapacity * loadFactor);
//建立新的數組
HashEntry<K,V>[] newTable =
(HashEntry<K,V>[]) new HashEntry[newCapacity];
//sizeMask提早減1了
int sizeMask = newCapacity - 1;
//遍歷原數組
for (int i = 0; i < oldCapacity ; i++) {
//獲取舊數組中的元素
HashEntry<K,V> e = oldTable[i];
if (e != null) {
HashEntry<K,V> next = e.next;
//計算插入的索引
int idx = e.hash & sizeMask;
if (next == null) // 鏈表中只有單個元素時，直接放入新數組中去
newTable[idx] = e;
else { // Reuse consecutive sequence at same slot
HashEntry<K,V> lastRun = e;
int lastIdx = idx;
//尋找鏈表中最後一個hash值不等於lastIdx的元素
for (HashEntry<K,V> last = next;last != null;last = last.next) {
int k = last.hash & sizeMask;
if (k != lastIdx) {
lastIdx = k;
lastRun = last;
}
}
//一個優化，把在lastRun以後的鏈表元素直接鏈到新hash表中的lastIdx位置
newTable[lastIdx] = lastRun;
//在lastrun以前的全部鏈表元素，須要在新的位置逐個拷貝
for (HashEntry<K,V> p = e; p != lastRun; p = p.next) {
V v = p.value;
int h = p.hash;
int k = h & sizeMask;
HashEntry<K,V> n = newTable[k];
newTable[k] = new HashEntry<K,V>(h, p.key, v, n);
}
}
}
}
// 把新的節點加入Hash表
int nodeIndex = node.hash & sizeMask;
node.setNext(newTable[nodeIndex]);
newTable[nodeIndex] = node;
table = newTable;
}
可見擴容函數是擴容爲原來數組的兩倍大小，且擴容進行了一次優化，並無對元素依次拷貝，而是先經過for循環找到lastRun位置。lastRun到鏈表末尾的全部元素，其hash值沒有改變，因此不須要一次從新拷貝，只須要把這部分鏈表鏈到新hash表中所對應的位置便可。lastRun以前的節點則須要依次拷貝。
get函數
整個get函數相對來是實現思路不復雜，先找到在哪一個Segment數組中，再去尋找具體在哪一個table上，整個過程沒加鎖，由於Sigment中的HashEntry和HashEntry中的value都是由volatile修飾的，volatile保證了內存的可見性。
public V get(Object key) {
Segment<K,V> s; // manually integrate access methods to reduce overhead
HashEntry<K,V>[] tab;
int h = hash(key);
//先計算在哪一個segment數組中
long u = (((h >>> segmentShift) & segmentMask) << SSHIFT) + SBASE;
if ((s = (Segment<K,V>)UNSAFE.getObjectVolatile(segments, u)) != null &&
(tab = s.table) != null) {
//計算在segment數組中的哪一個HashEntry上
for (HashEntry<K,V> e = (HashEntry<K,V>) UNSAFE.getObjectVolatile
(tab, ((long)(((tab.length - 1) & h)) << TSHIFT) + TBASE);
e != null; e = e.next) {
K k;
//key值和當前節點的key指向同一片地址，或者當前節點的hash等於key的hash而且equals比價後相同則說明是目標節點
if ((k = e.key) == key || (e.hash == h && key.equals(k)))
return e.value;
}
}
return null;
}
小結
ConcurrentHashMap內容頗多且有難度，以上爲簡單閱讀，若有不對的懇請指正。
- 在JDK1.7中，ConcurrentHashMap是基於分段鎖的思想來提升併發能力，數據結構採用Segment數組+HashEntry數組+鏈表來實現，每一個Segment都至關於一把鎖(其繼承自ReentrantLock),多個線程操做多個Segment是相互獨立的，Segment有多少個即爲併發級別有多大。
- Segment在ConcurrentHashMap初始化後就不會改變了，其擴容是針對每一個Segment內部的HashEntry數組擴容，擴容爲原來的兩倍大小且進行了優化。
- 多個線程put操做時候，競爭鎖失敗的線程會進行自旋，自旋達到必定次數在直接調用lock進行阻塞。
- 初始化ConcurrentHashMap的時候只會填充第一個Segment[0]，須要在多線程狀況下避免重複初始化Segment[j]
- 讀操做未上鎖，Segment中的HashEntry數組和hashEntry對象中的value都是用volatile修飾的
相關文章
- 1. Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
- 2. Java7/8中的HashMap和ConcurrentHashMap全解析
- 3. Java7 和 Java8 中的 ConcurrentHashMap 原理解析
- 4. Java7 中的 HashMap 和 ConcurrentHashMap 全解析
- 5. Java7 ConcurrentHashMap
- 6. Java7 從HashMap到concurrentHashMap
- 7. 淺析ConcurrentHashMap
- 8. Java併發指南13：Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
- 9. ConcurrentHashMap原理淺析
- 10. ConcurrentHashMap源碼淺析
- 更多相關文章...
- • Spring中Bean的作用域 - Spring教程
- • 現實生活中的 XML - XML 教程
- • 互聯網組織的未來：剖析GitHub員工的任性之源
- • C# 中 foreach 遍歷的用法
相關標籤/搜索
每日一句
-
每一个你不满意的现在，都有一个你没有努力的曾经。
歡迎關注本站公眾號,獲取更多信息
相關文章
- 1. Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
- 2. Java7/8中的HashMap和ConcurrentHashMap全解析
- 3. Java7 和 Java8 中的 ConcurrentHashMap 原理解析
- 4. Java7 中的 HashMap 和 ConcurrentHashMap 全解析
- 5. Java7 ConcurrentHashMap
- 6. Java7 從HashMap到concurrentHashMap
- 7. 淺析ConcurrentHashMap
- 8. Java併發指南13：Java7/8 中的 HashMap 和 ConcurrentHashMap 全解析
- 9. ConcurrentHashMap原理淺析
- 10. ConcurrentHashMap源碼淺析