天天看點

算法---hash算法原理(java中HashMap底層實作原理和源碼解析)

散清單(Hash table,也叫哈希表),是依據關鍵碼值(Key value)而直接進行訪問的資料結構。也就是說,它通過把關鍵碼值映射到表中一個位置來訪問記錄,以加快查找的速度。這個映射函數叫做散列函數,存放記錄的數組叫做散清單。

 比如我們要存儲八十八個資料,我們為他申請了100個元素的位址空間,80/100=0.88,這個數字叫做負載因子.我們之是以這樣做是為了通過犧牲空間來換取時間,達到"高速存儲"的目的.我們基于一種結果盡可能随機平均分布的固定函數H為每一個元素安排存儲位置,這樣就能夠避免周遊性質的線性搜尋,以達到高速存取。可是因為此随機性,也必定導緻一個問題就是沖突。所謂沖突,即兩個元素通過散列函數H得到的位址同樣,那麼這兩個元素稱為“同義詞”。

解決沖突是一個複雜問題。沖突主要取決于:

(1)散列函數,一個好的散列函數的值應盡可能平均分布。

(2)處理沖突方法。

(3)負載因子的大小。太大不一定就好,并且浪費空間嚴重,負載因子和散列函數是關聯的。

  解決沖突的辦法:

     (1)線性探查法:沖突後,線性向前試探,找到近期的一個空位置。缺點是會出現堆積現象。存取時,可能不是同義詞的詞也位于探查序列,影響效率。

     (2)雙散列函數法:在位置d沖突後,再次使用還有一個散列函數産生一個與散清單桶容量m互質的數c,依次試探(d+n*c)%m,使探查序列跳躍式分布。

影響産生沖突多少有下面三個因素:

  1. 散列函數是否均勻;

  2. 處理沖突的方法;

  3. 散清單的裝填因子。

  散清單的裝填因子定義為:α= 填入表中的元素個數 / 散清單的長度

  α是散清單裝滿程度的标志因子。因為表長是定值,α與“填入表中的元素個數”成正比,是以,α越大,填入表中的元素較多,産生沖突的可能性就越大;α越小,填入表中的元素較少,産生沖突的可能性就越小。

HashMap數組 (JDK8以前使用拉鍊法,JDK8以後使用紅黑樹)

算法---hash算法原理(java中HashMap底層實作原理和源碼解析)

在Java程式設計語言中,最基本的結構就是兩種,一種是數組,一種是模拟指針(引用),所有的資料結構都可以用這兩個基本結構構造,HashMap也一樣。當程式試圖将多個 key-value 放入 HashMap 中時,以如下代碼片段為例:

HashMap<String,Object> m=new HashMap<String,Object>(); 
m.put("a", "rrr1"); 
m.put("b", "tt9"); 
m.put("c", "tt8"); 
m.put("d", "g7"); 
m.put("e", "d6"); 
           

 HashMap 采用一種所謂的“Hash 算法”來決定每個元素的存儲位置。當程式執行 map.put(String,Obect)方法 時,系統将調用String的 hashCode() 方法得到其 hashCode 值——每個 Java 對象都有 hashCode() 方法,都可通過該方法獲得它的 hashCode 值。得到這個對象的 hashCode 值之後,系統會根據該 hashCode 值來決定該元素的存儲位置。源碼如下:

 public V put(K key, V value) {  
        if (key == null)  
            return putForNullKey(value);  
        int hash = hash(key.hashCode());  
        int i = indexFor(hash, table.length);  
        for (Entry<K,V> e = table[i]; e != null; e = e.next) {  
            Object k;  
            //判斷目前确定的索引位置是否存在相同hashcode和相同key的元素,如果存在相同的hashcode和相同的key的元素,那麼新值覆寫原來的舊值,并傳回舊值。  
            //如果存在相同的hashcode,那麼他們确定的索引位置就相同,這時判斷他們的key是否相同,如果不相同,這時就是産生了hash沖突。  
            //Hash沖突後,那麼HashMap的單個bucket裡存儲的不是一個 Entry,而是一個 Entry 鍊。  
            //系統隻能必須按順序周遊每個 Entry,直到找到想搜尋的 Entry 為止——如果恰好要搜尋的 Entry 位于該 Entry 鍊的最末端(該 Entry 是最早放入該 bucket 中),  
            //那系統必須循環到最後才能找到該元素。  
            if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {  
                V oldValue = e.value;  
                e.value = value;  
                return oldValue;  
            }  
        }  
        modCount++;  
        addEntry(hash, key, value, i);  
        return null;  
    }  
           

上面程式中用到了一個重要的内部接口:Map.Entry,每個 Map.Entry 其實就是一個 key-value 對。從上面程式中可以看出:當系統決定存儲 HashMap 中的 key-value 對時,完全沒有考慮 Entry 中的 value,僅僅隻是根據 key 來計算并決定每個 Entry 的存儲位置。這也說明了前面的結論:我們完全可以把 Map 集合中的 value 當成 key 的附屬,當系統決定了 key 的存儲位置之後,value 随之儲存在那裡即可.HashMap程式經過我改造,我故意的構造出了hash沖突現象,因為HashMap的初始大小16,但是我在hashmap裡面放了超過16個元素,并且我屏蔽了它的resize()方法。不讓它去擴容。這時HashMap的底層數組Entry[]   table結構如下: 

Hashmap裡面的bucket出現了單連結清單的形式,散清單要解決的一個問題就是散列值的沖突問題,通常是兩種方法:連結清單法和開放位址法。連結清單法就是将相同hash值的對象組織成一個連結清單放在hash值對應的槽位;開放位址法是通過一個探測算法,當某個槽位已經被占據的情況下繼續查找下一個可以使用的槽位。java.util.HashMap采用的連結清單法的方式,連結清單是單向連結清單。形成單連結清單的核心代碼如下:

void addEntry(int hash, K key, V value, int bucketIndex) {  
    Entry<K,V> e = table[bucketIndex];  
    table[bucketIndex] = new Entry<K,V>(hash, key, value, e);  
    if (size++ >= threshold)  
        resize(2 * table.length);  
bsp; 
           

上面方法的代碼很簡單,但其中包含了一個設計:系統總是将新添加的 Entry 對象放入 table 數組的 bucketIndex 索引處——如果 bucketIndex 索引處已經有了一個 Entry 對象,那新添加的 Entry 對象指向原有的 Entry 對象(産生一個 Entry 鍊),如果 bucketIndex 索引處沒有 Entry 對象,也就是上面程式代碼的 e 變量是 null,也就是新放入的 Entry 對象指向 null,也就是沒有産生 Entry 鍊。

       HashMap裡面沒有出現hash沖突時,沒有形成單連結清單時,hashmap查找元素很快,get()方法能夠直接定位到元素,但是出現單連結清單後,單個bucket 裡存儲的不是一個 Entry,而是一個 Entry 鍊,系統隻能必須按順序周遊每個 Entry,直到找到想搜尋的 Entry 為止——如果恰好要搜尋的 Entry 位于該 Entry 鍊的最末端(該 Entry 是最早放入該 bucket 中),那系統必須循環到最後才能找到該元素。

       當建立 HashMap 時,有一個預設的負載因子(load factor),其預設值為 0.75,這是時間和空間成本上一種折衷:增大負載因子可以減少 Hash 表(就是那個 Entry 數組)所占用的記憶體空間,但會增加查詢資料的時間開銷,而查詢是最頻繁的的操作(HashMap 的 get() 與 put() 方法都要用到查詢);減小負載因子會提高資料查詢的性能,但會增加 Hash 表所占用的記憶體空間。

三、HashMap源碼分析

       1、關鍵屬性

  先看看HashMap類中的一些關鍵屬性:

1 transient Entry[] table;//存儲元素的實體數組
2  
3 transient int size;//存放元素的個數
4  
5 int threshold; //臨界值   當實際大小超過臨界值時,會進行擴容threshold = 加載因子*容量
6 
7  final float loadFactor; //加載因子
8  
9 transient int modCount;//被修改的次數
           

2、構造方法

下面看看HashMap的幾個構造方法:

1	public HashMap(int initialCapacity, float loadFactor) {
 2         //確定數字合法
 3         if (initialCapacity < 0)
 4             throw new IllegalArgumentException("Illegal initial capacity: " +
 5                                               initialCapacity);
 6         if (initialCapacity > MAXIMUM_CAPACITY)
 7             initialCapacity = MAXIMUM_CAPACITY;
 8         if (loadFactor <= 0 || Float.isNaN(loadFactor))
 9             throw new IllegalArgumentException("Illegal load factor: " +
10                                               loadFactor);
11 
12         // Find a power of 2 >= initialCapacity
13         int capacity = 1;   //初始容量
14         while (capacity < initialCapacity)   //確定容量為2的n次幂,使capacity為大于initialCapacity的最小的2的n次幂
15             capacity <<= 1;
16 
17         this.loadFactor = loadFactor;
18         threshold = (int)(capacity * loadFactor);
19         table = new Entry[capacity];
20        init();
21    }
22 
23     public HashMap(int initialCapacity) {
24         this(initialCapacity, DEFAULT_LOAD_FACTOR);
25    }
26 
27     public HashMap() {
28         this.loadFactor = DEFAULT_LOAD_FACTOR;
29         threshold = (int)(DEFAULT_INITIAL_CAPACITY * DEFAULT_LOAD_FACTOR);
30         table = new Entry[DEFAULT_INITIAL_CAPACITY];
31        init();
32     }
           

我們可以看到在構造HashMap的時候如果我們指定了加載因子和初始容量的話就調用第一個構造方法,否則的話就是用預設的。預設初始容量為16,預設加載因子為0.75。我們可以看到上面代碼中13-15行,這段代碼的作用是確定容量為2的n次幂,使capacity為大于initialCapacity的最小的2的n次幂,至于為什麼要把容量設定為2的n次幂,我們等下再看。

重點分析下HashMap中用的最多的兩個方法put和get

       3、存儲資料

  下面看看HashMap存儲資料的過程是怎樣的,首先看看HashMap的put方法:

public V put(K key, V value) {
     // 若“key為null”,則将該鍵值對添加到table[0]中。
         if (key == null) 
            return putForNullKey(value);
     // 若“key不為null”,則計算該key的哈希值,然後将其添加到該哈希值對應的連結清單中。
         int hash = hash(key.hashCode());
     //搜尋指定hash值在對應table中的索引
         int i = indexFor(hash, table.length);
     // 循環周遊Entry數組,若“該key”對應的鍵值對已經存在,則用新的value取代舊的value。然後退出!
         for (Entry<K,V> e = table[i]; e != null; e = e.next) { 
             Object k;
              if (e.hash == hash && ((k = e.key) == key || key.equals(k))) { //如果key相同則覆寫并傳回舊值
                  V oldValue = e.value;
                 e.value = value;
                 e.recordAccess(this);
                 return oldValue;
              }
         }
     //修改次數+1
         modCount++;
     //将key-value添加到table[i]處
     addEntry(hash, key, value, i);
     return null;
}
           

上面程式中用到了一個重要的内部接口:Map.Entry,每個 Map.Entry 其實就是一個 key-value 對。從上面程式中可以看出:當系統決定存儲 HashMap 中的 key-value 對時,完全沒有考慮 Entry 中的 value,僅僅隻是根據 key 來計算并決定每個 Entry 的存儲位置。這也說明了前面的結論:我們完全可以把 Map 集合中的 value 當成 key 的附屬,當系統決定了 key 的存儲位置之後,value 随之儲存在那裡即可。

我們慢慢的來分析這個函數,第2和3行的作用就是處理key值為null的情況,我們看看putForNullKey(value)方法:

1 private V putForNullKey(V value) {
 2         for (Entry<K,V> e = table[0]; e != null; e = e.next) {
 3             if (e.key == null) {   //如果有key為null的對象存在,則覆寫掉
 4                 V oldValue = e.value;
 5                 e.value = value;
 6                 e.recordAccess(this);
 7                 return oldValue;
 8            }
 9        }
10         modCount++;
11         addEntry(0, null, value, 0); //如果鍵為null的話,則hash值為0
12         return null;
13     }
 
           

注意:如果key為null的話,hash值為0,對象存儲在數組中索引為0的位置。即table[0]

我們再回去看看put方法中第4行,它是通過key的hashCode值計算hash碼,下面是計算hash碼的函數:

1  //計算hash值的方法 通過鍵的hashCode來計算
2     static int hash(int h) {
3         // This function ensures that hashCodes that differ only by
4         // constant multiples at each bit position have a bounded
5         // number of collisions (approximately 8 at default load factor).
6         h ^= (h >>> 20) ^ (h >>> 12);
7         return h ^ (h >>> 7) ^ (h >>> 4);
8     }
           

得到hash碼之後就會通過hash碼去計算出應該存儲在數組中的索引,計算索引的函數如下:

1     static int indexFor(int h, int length) { //根據hash值和數組長度算出索引值
2         return h & (length-1);  //這裡不能随便算取,用hash&(length-1)是有原因的,這樣可以確定算出來的索引是在數組大小範圍内,不會超出
3     }
           

這個我們要重點說下,我們一般對哈希表的散列很自然地會想到用hash值對length取模(即除法散列法),Hashtable中也是這樣實作的,這種方法基本能保證元素在哈希表中散列的比較均勻,但取模會用到除法運算,效率很低,HashMap中則通過h&(length-1)的方法來代替取模,同樣實作了均勻的散列,但效率要高很多,這也是HashMap對Hashtable的一個改進。

    接下來,我們分析下為什麼哈希表的容量一定要是2的整數次幂。首先,length為2的整數次幂的話,h&(length-1)就相當于對length取模,這樣便保證了散列的均勻,同時也提升了效率;其次,length為2的整數次幂的話,為偶數,這樣length-1為奇數,奇數的最後一位是1,這樣便保證了h&(length-1)的最後一位可能為0,也可能為1(這取決于h的值),即與後的結果可能為偶數,也可能為奇數,這樣便可以保證散列的均勻性,而如果length為奇數的話,很明顯length-1為偶數,它的最後一位是0,這樣h&(length-1)的最後一位肯定為0,即隻能為偶數,這樣任何hash值都隻會被散列到數組的偶數下标位置上,這便浪費了近一半的空間,是以,length取2的整數次幂,是為了使不同hash值發生碰撞的機率較小,這樣就能使元素在哈希表中均勻地散列。

 根據上面 put 方法的源代碼可以看出,當程式試圖将一個key-value對放入HashMap中時,程式首先根據該 key 的 hashCode() 傳回值決定該 Entry 的存儲位置:如果兩個 Entry 的 key 的 hashCode() 傳回值相同,那它們的存儲位置相同。如果這兩個 Entry 的 key 通過 equals 比較傳回 true,新添加 Entry 的 value 将覆寫集合中原有 Entry 的 value,但key不會覆寫。如果這兩個 Entry 的 key 通過 equals 比較傳回 false,新添加的 Entry 将與集合中原有 Entry 形成 Entry 鍊,而且新添加的 Entry 位于 Entry 鍊的頭部——具體說明繼續看 addEntry() 方法的說明。

1 void addEntry(int hash, K key, V value, int bucketIndex) {
2         Entry<K,V> e = table[bucketIndex]; //如果要加入的位置有值,将該位置原先的值設定為新entry的next,也就是新entry連結清單的下一個節點
3         table[bucketIndex] = new Entry<>(hash, key, value, e);
4         if (size++ >= threshold) //如果大于臨界值就擴容
5             resize(2 * table.length); //以2的倍數擴容
6     }
           

參數bucketIndex就是indexFor函數計算出來的索引值,第2行代碼是取得數組中索引為bucketIndex的Entry對象,第3行就是用hash、key、value建構一個新的Entry對象放到索引為bucketIndex的位置,并且将該位置原先的對象設定為新對象的next構成連結清單。

  第4行和第5行就是判斷put後size是否達到了臨界值threshold,如果達到了臨界值就要進行擴容,HashMap擴容是擴為原來的兩倍。

4、調整大小

resize()方法如下:

 重新調整HashMap的大小,newCapacity是調整後的機關

1     void resize(int newCapacity) {
 2         Entry[] oldTable = table;
 3         int oldCapacity = oldTable.length;
 4         if (oldCapacity == MAXIMUM_CAPACITY) {
 5             threshold = Integer.MAX_VALUE;
 6             return;
 7        }
 8 
 9         Entry[] newTable = new Entry[newCapacity];
10         transfer(newTable);//用來将原先table的元素全部移到newTable裡面
11         table = newTable;  //再将newTable指派給table
12         threshold = (int)(newCapacity * loadFactor);//重新計算臨界值
13     }
           

建立了一個HashMap的底層數組,上面代碼中第10行為調用transfer方法,将HashMap的全部元素添加到新的HashMap中,并重新計算元素在新的數組中的索引位置

當HashMap中的元素越來越多的時候,hash沖突的幾率也就越來越高,因為數組的長度是固定的。是以為了提高查詢的效率,就要對HashMap的數組進行擴容,數組擴容這個操作也會出現在ArrayList中,這是一個常用的操作,而在HashMap數組擴容之後,最消耗性能的點就出現了:原數組中的資料必須重新計算其在新數組中的位置,并放進去,這就是resize。

   那麼HashMap什麼時候進行擴容呢?當HashMap中的元素個數超過數組大小*loadFactor時,就會進行數組擴容,loadFactor的預設值為0.75,這是一個折中的取值。也就是說,預設情況下,數組大小為16,那麼當HashMap中元素個數超過16*0.75=12的時候,就把數組的大小擴充為 2*16=32,即擴大一倍,然後重新計算每個元素在數組中的位置,擴容是需要進行數組複制的,複制數組是非常消耗性能的操作,是以如果我們已經預知HashMap中元素的個數,那麼預設元素的個數能夠有效的提高HashMap的性能。

 5、資料讀取

1.public V get(Object key) {   
2.    if (key == null)   
3.        return getForNullKey();   
4.    int hash = hash(key.hashCode());   
5.    for (Entry<K,V> e = table[indexFor(hash, table.length)];   
6.        e != null;   
7.        e = e.next) {   
8.        Object k;   
9.        if (e.hash == hash && ((k = e.key) == key || key.equals(k)))   
10.            return e.value;   
11.    }   
12.    return null;   
13.}  
           

 有了上面存儲時的hash算法作為基礎,了解起來這段代碼就很容易了。從上面的源代碼中可以看出:從HashMap中get元素時,首先計算key的hashCode,找到數組中對應位置的某一進制素,然後通過key的equals方法在對應位置的連結清單中找到需要的元素。

6、HashMap的性能參數:

   HashMap 包含如下幾個構造器:

   HashMap():建構一個初始容量為 16,負載因子為 0.75 的 HashMap。

   HashMap(int initialCapacity):建構一個初始容量為 initialCapacity,負載因子為 0.75 的 HashMap。

   HashMap(int initialCapacity, float loadFactor):以指定初始容量、指定的負載因子建立一個 HashMap。

   HashMap的基礎構造器HashMap(int initialCapacity, float loadFactor)帶有兩個參數,它們是初始容量initialCapacity和加載因子loadFactor。

   initialCapacity:HashMap的最大容量,即為底層數組的長度。

   loadFactor:負載因子loadFactor定義為:散清單的實際元素數目(n)/ 散清單的容量(m)。

   負載因子衡量的是一個散清單的空間的使用程度,負載因子越大表示散清單的裝填程度越高,反之愈小。對于使用連結清單法的散清單來說,查找一個元素的平均時間是O(1+a),是以如果負載因子越大,對空間的利用更充分,然而後果是查找效率的降低;如果負載因子太小,那麼散清單的資料将過于稀疏,對空間造成嚴重浪費。

   HashMap的實作中,通過threshold字段來判斷HashMap的最大容量:

threshold = (int)(capacity * loadFactor);  
           

 結合負載因子的定義公式可知,threshold就是在此loadFactor和capacity對應下允許的最大元素數目,超過這個數目就重新resize,以降低實際的負載因子。預設的的負載因子0.75是對空間和時間效率的一個平衡選擇。當容量超出此最大容量時, resize後的HashMap容量是容量的兩倍

JDK8新增的紅黑樹:

算法---hash算法原理(java中HashMap底層實作原理和源碼解析)

HashMap 在 JDK 1.8 中新增的操作:桶的樹形化 treeifyBin()

在Java 8 中,如果一個桶中的元素個數超過 TREEIFY_THRESHOLD(預設是 8 ),就使用紅黑樹來替換連結清單,進而提高速度。

這個替換的方法叫 treeifyBin() 即樹形化。

//将桶内所有的 連結清單節點 替換成 紅黑樹節點
final void treeifyBin(Node<K,V>[] tab, int hash) {
    int n, index; Node<K,V> e;
    //如果目前哈希表為空,或者哈希表中元素的個數小于 進行樹形化的門檻值(預設為 64),就去建立/擴容
    if (tab == null || (n = tab.length) < MIN_TREEIFY_CAPACITY)
        resize();
    else if ((e = tab[index = (n - 1) & hash]) != null) {
        //如果哈希表中的元素個數超過了 樹形化門檻值,進行樹形化
        // e 是哈希表中指定位置桶裡的連結清單節點,從第一個開始
        TreeNode<K,V> hd = null, tl = null; //紅黑樹的頭、尾節點
        do {
            //建立一個樹形節點,内容和目前連結清單節點 e 一緻
            TreeNode<K,V> p = replacementTreeNode(e, null);
            if (tl == null) //确定樹頭節點
                hd = p;
            else {
                p.prev = tl;
                tl.next = p;
            }
            tl = p;
        } while ((e = e.next) != null);  
        //讓桶的第一個元素指向建立的紅黑樹頭結點,以後這個桶裡的元素就是紅黑樹而不是連結清單了
        if ((tab[index] = hd) != null)
            hd.treeify(tab);
    }
}


    TreeNode<K,V> replacementTreeNode(Node<K,V> p, Node<K,V> next) {
    return new TreeNode<>(p.hash, p.key, p.value, next);
}
           

繼續閱讀