深入并发包-ConcurrentHashMap
轉載自??深入并發(fā)包-ConcurrentHashMap
前言
以前寫過介紹HashMap的文章,文中提到過HashMap在put的時候,插入的元素超過了容量(由負載因子決定)的范圍就會觸發(fā)擴容操作,就是rehash,這個會重新將原數組的內容重新hash到新的擴容數組中,在多線程的環(huán)境下,存在同時其他的元素也在進行put操作,如果hash值相同,可能出現同時在同一數組下用鏈表表示,造成閉環(huán),導致在get時會出現死循環(huán),所以HashMap是線程不安全的。
我們來了解另一個鍵值存儲集合HashTable,它是線程安全的,它在所有涉及到多線程操作的都加上了synchronized關鍵字來鎖住整個table,這就意味著所有的線程都在競爭一把鎖,在多線程的環(huán)境下,它是安全的,但是無疑是效率低下的。
其實HashTable有很多的優(yōu)化空間,鎖住整個table這么粗暴的方法可以變相的柔和點,比如在多線程的環(huán)境下,對不同的數據集進行操作時其實根本就不需要去競爭一個鎖,因為他們不同hash值,不會因為rehash造成線程不安全,所以互不影響,這就是鎖分離技術,將鎖的粒度降低,利用多個鎖來控制多個小的table,這就是這篇文章的主角ConcurrentHashMap JDK1.7版本的核心思想
ConcurrentHashMap
JDK1.7的實現
在JDK1.7版本中,ConcurrentHashMap的數據結構是由一個Segment數組和多個HashEntry組成,如下圖所示:
Segment數組的意義就是將一個大的table分割成多個小的table來進行加鎖,也就是上面的提到的鎖分離技術,而每一個Segment元素存儲的是HashEntry數組+鏈表,這個和HashMap的數據存儲結構一樣
初始化
ConcurrentHashMap的初始化是會通過位與運算來初始化Segment的大小,用ssize來表示,如下所示
int sshift = 0; int ssize = 1; while (ssize < concurrencyLevel) {++sshift;ssize <<= 1; }如上所示,因為ssize用位于運算來計算(ssize <<=1),所以Segment的大小取值都是以2的N次方,無關concurrencyLevel的取值,當然concurrencyLevel最大只能用16位的二進制來表示,即65536,換句話說,Segment的大小最多65536個,沒有指定concurrencyLevel元素初始化,Segment的大小ssize默認為16
每一個Segment元素下的HashEntry的初始化也是按照位于運算來計算,用cap來表示,如下所示
如上所示,HashEntry大小的計算也是2的N次方(cap <<=1), cap的初始值為1,所以HashEntry最小的容量為2
put操作
對于ConcurrentHashMap的數據插入,這里要進行兩次Hash去定位數據的存儲位置
static class Segment<K,V> extends ReentrantLock implements Serializable {從上Segment的繼承體系可以看出,Segment實現了ReentrantLock,也就帶有鎖的功能,當執(zhí)行put操作時,會進行第一次key的hash來定位Segment的位置,如果該Segment還沒有初始化,即通過CAS操作進行賦值,然后進行第二次hash操作,找到相應的HashEntry的位置,這里會利用繼承過來的鎖的特性,在將數據插入指定的HashEntry位置時(鏈表的尾端),會通過繼承ReentrantLock的tryLock()方法嘗試去獲取鎖,如果獲取成功就直接插入相應的位置,如果已經有線程獲取該Segment的鎖,那當前線程會以自旋的方式去繼續(xù)的調用tryLock()方法去獲取鎖,超過指定次數就掛起,等待喚醒
get操作
ConcurrentHashMap的get操作跟HashMap類似,只是ConcurrentHashMap第一次需要經過一次hash定位到Segment的位置,然后再hash定位到指定的HashEntry,遍歷該HashEntry下的鏈表進行對比,成功就返回,不成功就返回null
size操作
計算ConcurrentHashMap的元素大小是一個有趣的問題,因為他是并發(fā)操作的,就是在你計算size的時候,他還在并發(fā)的插入數據,可能會導致你計算出來的size和你實際的size有相差(在你return size的時候,插入了多個數據),要解決這個問題,JDK1.7版本用兩種方案
try {for (;;) {if (retries++ == RETRIES_BEFORE_LOCK) {for (int j = 0; j < segments.length; ++j) ensureSegment(j).lock(); // force creation}sum = 0L;size = 0;overflow = false;for (int j = 0; j < segments.length; ++j) {Segment<K,V> seg = segmentAt(segments, j);if (seg != null) { sum += seg.modCount; int c = seg.count; if (c < 0 || (size += c) < 0)overflow = true;} }if (sum == last) break;last = sum; } } finally {if (retries > RETRIES_BEFORE_LOCK) {for (int j = 0; j < segments.length; ++j)segmentAt(segments, j).unlock();} }第一種方案他會使用不加鎖的模式去嘗試多次計算ConcurrentHashMap的size,最多三次,比較前后兩次計算的結果,結果一致就認為當前沒有元素加入,計算的結果是準確的
JDK1.8的實現
JDK1.8的實現已經摒棄了Segment的概念,而是直接用Node數組+鏈表+紅黑樹的數據結構來實現,并發(fā)控制使用Synchronized和CAS來操作,整個看起來就像是優(yōu)化過且線程安全的HashMap,雖然在JDK1.8中還能看到Segment的數據結構,但是已經簡化了屬性,只是為了兼容舊版本
在深入JDK1.8的put和get實現之前要知道一些常量設計和數據結構,這些是構成ConcurrentHashMap實現結構的基礎,下面看一下基本屬性:
// node數組最大容量:2^30=1073741824 private static final int MAXIMUM_CAPACITY = 1 << 30; // 默認初始值,必須是2的幕數 private static final int DEFAULT_CAPACITY = 16; //數組可能最大值,需要與toArray()相關方法關聯(lián) static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8; //并發(fā)級別,遺留下來的,為兼容以前的版本 private static final int DEFAULT_CONCURRENCY_LEVEL = 16; // 負載因子 private static final float LOAD_FACTOR = 0.75f; // 鏈表轉紅黑樹閥值,> 8 鏈表轉換為紅黑樹 static final int TREEIFY_THRESHOLD = 8; //樹轉鏈表閥值,小于等于6(tranfer時,lc、hc=0兩個計數器分別++記錄原bin、新binTreeNode數量,<=UNTREEIFY_THRESHOLD 則untreeify(lo)) static final int UNTREEIFY_THRESHOLD = 6; static final int MIN_TREEIFY_CAPACITY = 64; private static final int MIN_TRANSFER_STRIDE = 16; private static int RESIZE_STAMP_BITS = 16; // 2^15-1,help resize的最大線程數 private static final int MAX_RESIZERS = (1 << (32 - RESIZE_STAMP_BITS)) - 1; // 32-16=16,sizeCtl中記錄size大小的偏移量 private static final int RESIZE_STAMP_SHIFT = 32 - RESIZE_STAMP_BITS; // forwarding nodes的hash值 static final int MOVED = -1; // 樹根節(jié)點的hash值 static final int TREEBIN = -2; // ReservationNode的hash值 static final int RESERVED = -3; // 可用處理器數量 static final int NCPU = Runtime.getRuntime().availableProcessors(); //存放node的數組 transient volatile Node<K,V>[] table; /*控制標識符,用來控制table的初始化和擴容的操作,不同的值有不同的含義*當為負數時:-1代表正在初始化,-N代表有N-1個線程正在 進行擴容*當為0時:代表當時的table還沒有被初始化*當為正數時:表示初始化或者下一次進行擴容的大小 private transient volatile int sizeCtl;基本屬性定義了ConcurrentHashMap的一些邊界以及操作時的一些控制,下面看一些內部的一些結構組成,這些是整個ConcurrentHashMap整個數據結構的核心
Node
Node是ConcurrentHashMap存儲結構的基本單元,繼承于HashMap中的Entry,用于存儲數據,源代碼如下
Node數據結構很簡單,從上可知,就是一個鏈表,但是只允許對數據進行查找,不允許進行修改
TreeNode
TreeNode繼承與Node,但是數據結構換成了二叉樹結構,它是紅黑樹的數據的存儲結構,用于紅黑樹中存儲數據,當鏈表的節(jié)點數大于8時會轉換成紅黑樹的結構,他就是通過TreeNode作為存儲結構代替Node來轉換成黑紅樹源代碼如下
static final class TreeNode<K,V> extends Node<K,V> {//樹形結構的屬性定義TreeNode<K,V> parent; // red-black tree linksTreeNode<K,V> left;TreeNode<K,V> right;TreeNode<K,V> prev; // needed to unlink next upon deletionboolean red; //標志紅黑樹的紅節(jié)點TreeNode(int hash, K key, V val, Node<K,V> next,TreeNode<K,V> parent) {super(hash, key, val, next);this.parent = parent;}Node<K,V> find(int h, Object k) {return findTreeNode(h, k, null);}//根據key查找 從根節(jié)點開始找出相應的TreeNode,final TreeNode<K,V> findTreeNode(int h, Object k, Class<?> kc) {if (k != null) {TreeNode<K,V> p = this;do {int ph, dir; K pk; TreeNode<K,V> q;TreeNode<K,V> pl = p.left, pr = p.right;if ((ph = p.hash) > h)p = pl;else if (ph < h)p = pr;else if ((pk = p.key) == k || (pk != null && k.equals(pk)))return p;else if (pl == null)p = pr;else if (pr == null)p = pl;else if ((kc != null ||(kc = comparableClassFor(k)) != null) &&(dir = compareComparables(kc, k, pk)) != 0)p = (dir < 0) ? pl : pr;else if ((q = pr.findTreeNode(h, k, kc)) != null)return q;elsep = pl;} while (p != null);}return null;} }TreeBin
TreeBin從字面含義中可以理解為存儲樹形結構的容器,而樹形結構就是指TreeNode,所以TreeBin就是封裝TreeNode的容器,它提供轉換黑紅樹的一些條件和鎖的控制,部分源碼結構如下
static final class TreeBin<K,V> extends Node<K,V> {//指向TreeNode列表和根節(jié)點TreeNode<K,V> root;volatile TreeNode<K,V> first;volatile Thread waiter;volatile int lockState;// 讀寫鎖狀態(tài)static final int WRITER = 1; // 獲取寫鎖的狀態(tài)static final int WAITER = 2; // 等待寫鎖的狀態(tài)static final int READER = 4; // 增加數據時讀鎖的狀態(tài)/*** 初始化紅黑樹*/TreeBin(TreeNode<K,V> b) {super(TREEBIN, null, null, null);this.first = b;TreeNode<K,V> r = null;for (TreeNode<K,V> x = b, next; x != null; x = next) {next = (TreeNode<K,V>)x.next;x.left = x.right = null;if (r == null) {x.parent = null;x.red = false;r = x;}else {K k = x.key;int h = x.hash;Class<?> kc = null;for (TreeNode<K,V> p = r;;) {int dir, ph;K pk = p.key;if ((ph = p.hash) > h)dir = -1;else if (ph < h)dir = 1;else if ((kc == null &&(kc = comparableClassFor(k)) == null) ||(dir = compareComparables(kc, k, pk)) == 0)dir = tieBreakOrder(k, pk);TreeNode<K,V> xp = p;if ((p = (dir <= 0) ? p.left : p.right) == null) {x.parent = xp;if (dir <= 0)xp.left = x;elsexp.right = x;r = balanceInsertion(r, x);break;}}}}this.root = r;assert checkInvariants(root);}...... }介紹了ConcurrentHashMap主要的屬性與內部的數據結構,現在通過一個簡單的例子以debug的視角看看ConcurrentHashMap的具體操作細節(jié)
public class TestConcurrentHashMap{ public static void main(String[] args){ConcurrentHashMap<String,String> map = new ConcurrentHashMap(); //初始化ConcurrentHashMap//新增個人信息map.put("id","1");map.put("name","andy");map.put("sex","男");//獲取姓名String name = map.get("name");Assert.assertEquals(name,"andy");//計算大小int size = map.size();Assert.assertEquals(size,3);} }我們先通過new ConcurrentHashMap()來進行初始化
由上你會發(fā)現ConcurrentHashMap的初始化其實是一個空實現,并沒有做任何事,這里后面會講到,這也是和其他的集合類有區(qū)別的地方,初始化操作并不是在構造函數實現的,而是在put操作中實現,當然ConcurrentHashMap還提供了其他的構造函數,有指定容量大小或者指定負載因子,跟HashMap一樣,這里就不做介紹了
put操作
在上面的例子中我們新增個人信息會調用put方法,我們來看下
這個put的過程很清晰,對當前的table進行無條件自循環(huán)直到put成功,可以分成以下六步流程來概述
現在我們來對每一步的細節(jié)進行源碼分析,在第一步中,符合條件會進行初始化操作,我們來看看initTable()方法
/*** Initializes table, using the size recorded in sizeCtl.*/ private final Node<K,V>[] initTable() {Node<K,V>[] tab; int sc;while ((tab = table) == null || tab.length == 0) {//空的table才能進入初始化操作if ((sc = sizeCtl) < 0) //sizeCtl<0表示其他線程已經在初始化了或者擴容了,掛起當前線程 Thread.yield(); // lost initialization race; just spinelse if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {//CAS操作SIZECTL為-1,表示初始化狀態(tài)try {if ((tab = table) == null || tab.length == 0) {int n = (sc > 0) ? sc : DEFAULT_CAPACITY;@SuppressWarnings("unchecked")Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];//初始化table = tab = nt;sc = n - (n >>> 2);//記錄下次擴容的大小}} finally {sizeCtl = sc;}break;}}return tab; }在第二步中沒有hash沖突就直接調用Unsafe的方法CAS插入該元素,進入第三步如果容器正在擴容,則會調用helpTransfer()方法幫助擴容,現在我們跟進helpTransfer()方法看看
/***幫助從舊的table的元素復制到新的table中*/ final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {Node<K,V>[] nextTab; int sc;if (tab != null && (f instanceof ForwardingNode) &&(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) { //新的table nextTba已經存在前提下才能幫助擴容int rs = resizeStamp(tab.length);while (nextTab == nextTable && table == tab &&(sc = sizeCtl) < 0) {if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||sc == rs + MAX_RESIZERS || transferIndex <= 0)break;if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {transfer(tab, nextTab);//調用擴容方法break;}}return nextTab;}return table; }其實helpTransfer()方法的目的就是調用多個工作線程一起幫助進行擴容,這樣的效率就會更高,而不是只有檢查到要擴容的那個線程進行擴容操作,其他線程就要等待擴容操作完成才能工作
既然這里涉及到擴容的操作,我們也一起來看看擴容方法transfer()
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {int n = tab.length, stride;// 每核處理的量小于16,則強制賦值16if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)stride = MIN_TRANSFER_STRIDE; // subdivide rangeif (nextTab == null) { // initiatingtry {@SuppressWarnings("unchecked")Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1]; //構建一個nextTable對象,其容量為原來容量的兩倍nextTab = nt;} catch (Throwable ex) { // try to cope with OOMEsizeCtl = Integer.MAX_VALUE;return;}nextTable = nextTab;transferIndex = n;}int nextn = nextTab.length;// 連接點指針,用于標志位(fwd的hash值為-1,fwd.nextTable=nextTab)ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);// 當advance == true時,表明該節(jié)點已經處理過了boolean advance = true;boolean finishing = false; // to ensure sweep before committing nextTabfor (int i = 0, bound = 0;;) {Node<K,V> f; int fh;// 控制 --i ,遍歷原h(huán)ash表中的節(jié)點while (advance) {int nextIndex, nextBound;if (--i >= bound || finishing)advance = false;else if ((nextIndex = transferIndex) <= 0) {i = -1;advance = false;}// 用CAS計算得到的transferIndexelse if (U.compareAndSwapInt(this, TRANSFERINDEX, nextIndex,nextBound = (nextIndex > stride ?nextIndex - stride : 0))) {bound = nextBound;i = nextIndex - 1;advance = false;}}if (i < 0 || i >= n || i + n >= nextn) {int sc;// 已經完成所有節(jié)點復制了if (finishing) {nextTable = null;table = nextTab; // table 指向nextTablesizeCtl = (n << 1) - (n >>> 1); // sizeCtl閾值為原來的1.5倍return; // 跳出死循環(huán),}// CAS 更擴容閾值,在這里面sizectl值減一,說明新加入一個線程參與到擴容操作if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)return;finishing = advance = true;i = n; // recheck before commit}}// 遍歷的節(jié)點為null,則放入到ForwardingNode 指針節(jié)點else if ((f = tabAt(tab, i)) == null)advance = casTabAt(tab, i, null, fwd);// f.hash == -1 表示遍歷到了ForwardingNode節(jié)點,意味著該節(jié)點已經處理過了// 這里是控制并發(fā)擴容的核心else if ((fh = f.hash) == MOVED)advance = true; // already processedelse {// 節(jié)點加鎖synchronized (f) {// 節(jié)點復制工作if (tabAt(tab, i) == f) {Node<K,V> ln, hn;// fh >= 0 ,表示為鏈表節(jié)點if (fh >= 0) {// 構造兩個鏈表 一個是原鏈表 另一個是原鏈表的反序排列int runBit = fh & n;Node<K,V> lastRun = f;for (Node<K,V> p = f.next; p != null; p = p.next) {int b = p.hash & n;if (b != runBit) {runBit = b;lastRun = p;}}if (runBit == 0) {ln = lastRun;hn = null;}else {hn = lastRun;ln = null;}for (Node<K,V> p = f; p != lastRun; p = p.next) {int ph = p.hash; K pk = p.key; V pv = p.val;if ((ph & n) == 0)ln = new Node<K,V>(ph, pk, pv, ln);elsehn = new Node<K,V>(ph, pk, pv, hn);}// 在nextTable i 位置處插上鏈表setTabAt(nextTab, i, ln);// 在nextTable i + n 位置處插上鏈表setTabAt(nextTab, i + n, hn);// 在table i 位置處插上ForwardingNode 表示該節(jié)點已經處理過了setTabAt(tab, i, fwd);// advance = true 可以執(zhí)行--i動作,遍歷節(jié)點advance = true;}// 如果是TreeBin,則按照紅黑樹進行處理,處理邏輯與上面一致else if (f instanceof TreeBin) {TreeBin<K,V> t = (TreeBin<K,V>)f;TreeNode<K,V> lo = null, loTail = null;TreeNode<K,V> hi = null, hiTail = null;int lc = 0, hc = 0;for (Node<K,V> e = t.first; e != null; e = e.next) {int h = e.hash;TreeNode<K,V> p = new TreeNode<K,V>(h, e.key, e.val, null, null);if ((h & n) == 0) {if ((p.prev = loTail) == null)lo = p;elseloTail.next = p;loTail = p;++lc;}else {if ((p.prev = hiTail) == null)hi = p;elsehiTail.next = p;hiTail = p;++hc;}}// 擴容后樹節(jié)點個數若<=6,將樹轉鏈表ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :(hc != 0) ? new TreeBin<K,V>(lo) : t;hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :(lc != 0) ? new TreeBin<K,V>(hi) : t;setTabAt(nextTab, i, ln);setTabAt(nextTab, i + n, hn);setTabAt(tab, i, fwd);advance = true;}}}}}}擴容過程有點復雜,這里主要涉及到多線程并發(fā)擴容,ForwardingNode的作用就是支持擴容操作,將已處理的節(jié)點和空節(jié)點置為ForwardingNode,并發(fā)處理時多個線程經過ForwardingNode就表示已經遍歷了,就往后遍歷,下圖是多線程合作擴容的過程:
介紹完擴容過程,我們再次回到put流程,在第四步中是向鏈表或者紅黑樹里加節(jié)點,到第五步,會調用treeifyBin()方法進行鏈表轉紅黑樹的過程
private final void treeifyBin(Node<K,V>[] tab, int index) {Node<K,V> b; int n, sc;if (tab != null) {//如果整個table的數量小于64,就擴容至原來的一倍,不轉紅黑樹了//因為這個閾值擴容可以減少hash沖突,不必要去轉紅黑樹if ((n = tab.length) < MIN_TREEIFY_CAPACITY) tryPresize(n << 1);else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {synchronized (b) {if (tabAt(tab, index) == b) {TreeNode<K,V> hd = null, tl = null;for (Node<K,V> e = b; e != null; e = e.next) {//封裝成TreeNodeTreeNode<K,V> p =new TreeNode<K,V>(e.hash, e.key, e.val,null, null);if ((p.prev = tl) == null)hd = p;elsetl.next = p;tl = p;}//通過TreeBin對象對TreeNode轉換成紅黑樹setTabAt(tab, index, new TreeBin<K,V>(hd));}}}} }到第六步表示已經數據加入成功了,現在調用addCount()方法計算ConcurrentHashMap的size,在原來的基礎上加一,現在來看看addCount()方法
put的流程現在已經分析完了,你可以從中發(fā)現,他在并發(fā)處理中使用的是樂觀鎖,當有沖突的時候才進行并發(fā)處理,而且流程步驟很清晰,但是細節(jié)設計的很復雜,畢竟多線程的場景也復雜
get操作
我們現在要回到開始的例子中,我們對個人信息進行了新增之后,我們要獲取所新增的信息,使用String name = map.get(“name”)獲取新增的name信息,現在我們依舊用debug的方式來分析下ConcurrentHashMap的獲取方法get()
ConcurrentHashMap的get操作的流程很簡單,也很清晰,可以分為三個步驟來描述
size操作
最后我們來看下例子中最后獲取size的方式int size = map.size();,現在讓我們看下size()方法
public int size() {long n = sumCount();return ((n < 0L) ? 0 :(n > (long)Integer.MAX_VALUE) ? Integer.MAX_VALUE :(int)n); } final long sumCount() {CounterCell[] as = counterCells; CounterCell a; //變化的數量long sum = baseCount;if (as != null) {for (int i = 0; i < as.length; ++i) {if ((a = as[i]) != null)sum += a.value;}}return sum; }在JDK1.8版本中,對于size的計算,在擴容和addCount()方法就已經有處理了,JDK1.7是在調用size()方法才去計算,其實在并發(fā)集合中去計算size是沒有多大的意義的,因為size是實時在變的,只能計算某一刻的大小,但是某一刻太快了,人的感知是一個時間段,所以并不是很精確
總結與思考
其實可以看出JDK1.8版本的ConcurrentHashMap的數據結構已經接近HashMap,相對而言,ConcurrentHashMap只是增加了同步的操作來控制并發(fā),從JDK1.7版本的ReentrantLock+Segment+HashEntry,到JDK1.8版本中synchronized+CAS+HashEntry+紅黑樹,相對而言,總結如下思考
參考
http://blog.csdn.net/u010412719/article/details/52145145
http://www.jianshu.com/p/e694f1e868ec
https://my.oschina.net/liuxiaomian/blog/880088
https://bentang.me/tech/2016/12/01/jdk8-concurrenthashmap-1/
http://cmsblogs.com/?p=2283
總結
以上是生活随笔為你收集整理的深入并发包-ConcurrentHashMap的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 国产手机扎堆自研系统,对抗安卓已成趋势
- 下一篇: ConcurrentHashMap能完全