数据结构-Hash总结(二)
轉載:http://blog.csdn.net/liufei_learning/article/details/19220391
理解Hash
哈希表(hash table)是從一個集合A到另一個集合B的映射(mapping)。
映射是一種對應關系,而且集合A的某個元素只能對應集合B中的一個元素。但反過來,集合B中的一個元素可能對應多個集合A中的元素。如果B中的元素只能對應A中的一個元素,這樣的映射被稱為一一映射。這樣的對應關系在現實生活中很常見,比如:
???? ???? A??->?B
???? ???? 人?->?身份證號
???? ???? 日期?->?星座
上面兩個映射中,人?->?身份證號是一一映射的關系。在哈希表中,上述對應過程稱為hashing。A中元素a對應B中元素b,a被稱為鍵值(key),b被稱為a的hash值(hash value)。
映射在數學上相當于一個函數f(x):A->B。比如 f(x) = 3x + 2。哈希表的核心是一個哈希函數(hash function),這個函數規定了集合A中的元素如何對應到集合B中的元素。比如:
???? ???? A: 三位整數????hash(x) = x % 10? ??B: 一位整數
???? ???? 104???????????? ? ? ? ? ?? ?? ????4
???? ???? 876???????????? ? ? ? ? ? ? ? ? ??6
???? ???? 192??????????????? ? ? ? ? ? ? ???2
上述對應中,哈希函數表示為hash(x) = x % 10。也就是說,給一個三位數,我們取它的最后一位作為該三位數的hash值。
哈希表在計算機科學中應用廣泛。比如在Git中,文件內容為鍵值,并用SHA算法作為hash function,將文件內容對應為固定長度的字符串(hash值)。如果文件內容發生變化,那么所對應的字符串就會發生變化。git通過比較較短的hash值,就可以知道文件內容是否發生變動。
再比如計算機的登陸密碼,一般是一串字符。然而,為了安全起見,計算機不會直接保存該字符串,而是保存該字符串的hash值(使用MD5、SHA或者其他算法作為hash函數)。當用戶下次登陸的時候,輸入密碼字符串。如果該密碼字符串的hash值與保存的hash值一致,那么就認為用戶輸入了正確的密碼。這樣,就算黑客闖入了數據庫中的密碼記錄,他能看到的也只是密碼的hash值。上面所使用的hash函數有很好的單向性:很難從hash值去推測鍵值。因此,黑客無法獲知用戶的密碼。(之前有報道多家網站用戶密碼泄露的時間,就是因為這些網站存儲明文密碼,而不是hash值.)
注意,hash只要求從A到B的對應為一個映射,它并沒有限定該對應關系為一一映射。因此會有這樣的可能:兩個不同的鍵值對應同一個hash值。這種情況叫做hash碰撞(hash collision)或者hash 沖突。比如網絡協議中的checksum就可能出現這種狀況,即所要校驗的內容與原文并不同,但與原文生成的checksum(hash值)相同。再比如,MD5算法常用來計算密碼的hash值。已經有實驗表明,MD5算法有可能發生碰撞,也就是不同的明文密碼生成相同的hash值,這將給系統帶來很大的安全漏洞。(參考hash collision)
Hash函數
Hash函數設計的好壞直接影響到對Hash表的操作效率。下面舉例說明:
假如對上述的聯系人信息進行存儲時,采用的Hash函數為:姓名的每個字的拼音開頭大寫字母的ASCII碼之和。
???? ???? address(張三)=ASCII(Z)+ASCII(S)=90+83=173;
???? ?????address(李四)=ASCII(L)+ASCII(S)=76+83=159;
???? ???? address(王五)=ASCII(W)+ASCII(W)=87+87=174;
???? ???? address(張帥)=ASCII(Z)+ASCII(S)=90+83=173;
假如只有這4個聯系人信息需要進行存儲,這個Hash函數設計的很糟糕。首先,它浪費了大量的存儲空間,假如采用char型數組存儲聯系人信息的話,則至少需要開辟174*12字節的空間,空間利用率只有4/174,不到5%;另外,根據Hash函數計算結果之后,address(張三)和address(李四)具有相同的地址,這種現象稱作沖突,對于174個存儲空間中只需要存儲4條記錄就發生了沖突,這樣的Hash函數設計是很不合理的。所以在構造Hash函數時應盡量考慮關鍵字的分布特點來設計函數使得Hash地址隨機均勻地分布在整個地址空間當中。通常有以下幾種構造Hash函數的方法:
1.直接定址法
取關鍵字或者關鍵字的某個線性函數為Hash地址,即address(key)=a*key+b;如知道學生的學號從2000開始,最大為4000,則可以將address(key)=key-2000作為Hash地址。
2.平方取中法
對關鍵字進行平方運算,然后取結果的中間幾位作為Hash地址。假如有以下關鍵字序列{421,423,436},平方之后的結果為{177241,178929,190096},那么可以取{72,89,00}作為Hash地址。
3.折疊法
將關鍵字拆分成幾部分,然后將這幾部分組合在一起,以特定的方式進行轉化形成Hash地址。假如知道圖書的ISBN號為8903-241-23,可以將address(key)=89+03+24+12+3作為Hash地址。
4.除留取余法
如果知道Hash表的最大長度為m,可以取不大于m的最大質數p,然后對關鍵字進行取余運算,address(key)=key%p。在這里p的選取非常關鍵,p選擇的好的話,能夠最大程度地減少沖突,p一般取不大于m的最大質數。
5.數字分析法
假設關鍵字是以r為基的數,并且哈希表中可能出現的關鍵字都是事先知道的,則可取關鍵字的若干數位組成哈希地址。? ? ? ?
例如有某些人的生日數據如下:
???? ???? 年. 月. 日
???? ???? 75.10.03
???? ???? 85.11.23
???? ???? 86.03.02
???? ???? 86.07.12
???? ???? 85.04.21
???? ???? 96.02.15
經分析,第一位,第二位,第三位重復的可能性大,取這三位造成沖突的機會增加,所以盡量不取前三位,取后三位比較好
6.隨機數法
選擇一個隨機函數,取關鍵字的隨機函數值為它的哈希地址,即
H(key)=random(key) ,其中random為隨機函數。通常用于關鍵字長度不等時采用此法。
Hash沖突
哈希表處理沖突主要有開放尋址法、再散列法、鏈地址法(拉鏈法)和建立一個公共溢出區四種方法。
通過構造性能良好的哈希函數,可以減少沖突,但一般不可能完全避免沖突,因此解決沖突是哈希法的另一個關鍵問題。創建哈希表和查找哈希表都會遇到沖突,兩種情況下解決沖突的方法應該一致。下面以創建哈希表為例,說明解決沖突的方法。常用的解決沖突方法有以下四種:
1.開放定址法
這種方法也稱再散列法,其基本思想是:當關鍵字key的哈希地址p=H(key)出現沖突時,以p為基礎,產生另一個哈希地址p1,如果p1仍然沖突,再以p為基礎,產生另一個哈希地址p2,…,直到找出一個不沖突的哈希地址pi ,將相應元素存入其中。這種方法有一個通用的再散列函數形式:Hi=(H(key)+di)%m?? i=1,2,…,n,其中H(key)為哈希函數,m 為表長,di稱為增量序列。增量序列的取值方式不同,相應的再散列方式也不同。主要有以下三種:
(1)?線性探測再散列
???? ???? di=1,2,3,…,m-1
這種方法的特點是:沖突發生時,順序查看表中下一單元,直到找出一個空單元或查遍全表。
(2)?二次探測再散列
???? ???? di=12,-12,22,-22,…,k2,-k2??? ( k<=m/2)
這種方法的特點是:沖突發生時,在表的左右進行跳躍式探測,比較靈活。
(3)?偽隨機探測再散列
???? ???? di=偽隨機數序列。
具體實現時,應建立一個偽隨機數發生器,(如i=(i+p) % m),并給定一個隨機數做起點。
例如,已知哈希表長度m=11,哈希函數為:H(key)= key? %? 11,則H(47)=3,H(26)=4,H(60)=5,假設下一個關鍵字為69,則H(69)=3,與47沖突。
如果用線性探測再散列處理沖突,下一個哈希地址為H1=(3 + 1)% 11 = 4,仍然沖突,再找下一個哈希地址為H2=(3 + 2)% 11 = 5,還是沖突,繼續找下一個哈希地址為H3=(3 + 3)% 11 = 6,此時不再沖突,將69填入5號單元。
如果用二次探測再散列處理沖突,下一個哈希地址為H1=(3 + 12)% 11 = 4,仍然沖突,再找下一個哈希地址為H2=(3 - 12)% 11 = 2,此時不再沖突,將69填入2號單元。
如果用偽隨機探測再散列處理沖突,且偽隨機數序列為:2,5,9,……..,則下一個哈希地址為H1=(3 + 2)% 11 = 5,仍然沖突,再找下一個哈希地址為H2=(3 + 5)% 11 = 8,此時不再沖突,將69填入8號單元。
從上述例子可以看出,線性探測再散列容易產生“二次聚集”,即在處理同義詞的沖突時又導致非同義詞的沖突。例如,當表中i, i+1 ,i+2三個單元已滿時,下一個哈希地址為i, 或i+1 ,或i+2,或i+3的元素,都將填入i+3這同一個單元,而這四個元素并非同義詞。線性探測再散列的優點是:只要哈希表不滿,就一定能找到一個不沖突的哈希地址,而二次探測再散列和偽隨機探測再散列則不一定。
2.再哈希法
這種方法是同時構造多個不同的哈希函數:
???? ?????Hi=RH1(key),i=1,2,3,…,n.
當哈希地址Hi=RH1(key)發生沖突時,再計算Hi=RH2(key)……,直到沖突不再產生。這種方法不易產生聚集,但增加了計算時間。
3.鏈地址法
這種方法的基本思想是將所有哈希地址為i的元素構成一個稱為同義詞鏈的單鏈表,并將單鏈表的頭指針存在哈希表的第i個單元中,因而查找、插入和刪除主要在同義詞鏈中進行。若選定的散列表長度為m,則可將散列表定義為一個由m個頭指針組成的指針數組T[0..m-1]。凡是散列地址為i的結點,均插入到以T[i]為頭指針的單鏈表中。T中各分量的初值均應為空指針。鏈地址法適用于經常進行插入和刪除的情況。
拉鏈法的優點
與開放定址法相比,拉鏈法有如下幾個優點:
- (1)拉鏈法處理沖突簡單,且無堆積現象,即非同義詞決不會發生沖突,因此平均查找長度較短;
- (2)由于拉鏈法中各鏈表上的結點空間是動態申請的,故它更適合于造表前無法確定表長的情況;
- (3)開放定址法為減少沖突,要求裝填因子α(裝填因子=表中的記錄數/哈希表的長度)較小,故當結點規模較大時會浪費很多空間。而拉鏈法中可取α≥1,且結點較大時,拉鏈法中增加的指針域可忽略不計,因此節省空間;
- (4)在用拉鏈法構造的散列表中,刪除結點的操作易于實現。只要簡單地刪去鏈表上相應的結點即可。而對開放地址法構造的散列表,刪除結點不能簡單地將被刪結點的空間置為空,否則將截斷在它之后填入散列表的同義詞結點的查找路徑。這是因為各種開放地址法中,空地址單元(即開放地址)都是查找失敗的條件。 因此在用開放地址法處理沖突的散列表上執行刪除操作,只能在被刪結點上做刪除標記,而不能真正刪除結點。
拉鏈法的缺點
拉鏈法的缺點是:指針需要額外的空間,故當結點規模較小時,開放定址法較為節省空間,而若將節省的指針空間用來擴大散列表的規模,可使裝填因子變小,這又減少了開放定址法中的沖突,從而提高平均查找速度。
4.建立公共溢出區
這種方法的基本思想是:將哈希表分為基本表和溢出表兩部分,凡是和基本表發生沖突的元素,一律填入溢出表.(注意:在這個方法里面是把元素分開兩個表來存儲)
沖突太多了怎么辦?
當沖突太多的時候,我們一般采用的方法時拉鏈法,采用拉鏈法的原因是動態申請空間,至于優點在上面已經闡述了.沖突太多的時候會產生堆積狀態,我們將H(key)相同的關鍵字都統一放到一個鏈里,當出現沖突的時候我們就把該元素接在鏈表后面,這樣可以避免產生堆積現象,縮短平均查找長度.
當數據表太小,而數據太多的時候怎么辦?
當數據表太小數據太多可以通過建立一個溢出表,專門用來存放哈希表中放不下的記錄.
Hash表的平均查找長度
Hash表的平均查找長度包括查找成功時的平均查找長度和查找失敗時的平均查找長度。
查找成功時的平均查找長度=表中每個元素查找成功時的比較次數之和/表中元素個數;
查找不成功時的平均查找長度相當于在表中查找元素不成功時的平均比較次數,可以理解為向表中插入某個元素,該元素在每個位置都有可能,然后計算出在每個位置能夠插入時需要比較的次數,再除以表長即為查找不成功時的平均查找長度。
下面舉個例子:
有一組關鍵字{23,12,14,2,3,5},表長為14,Hash函數為key%11,則關鍵字在表中的存儲如下:
???? ???? 地址 ? ? 0 ? ? 1 ? ? 2 ? ? 3 ? ? ?4 ? ? 5 ? ?6 ? 7 ? 8 ? ?9 ?10 ? 11 ? 12 ? ?13
???? ???? 關鍵字 ? ? ? ?23 ? ?12 ? 14 ? ? 2 ? ? 3 ? ?5
???? ???? 比較次數 ? ? ? ? 1 ? ? ?2 ? ?1 ? ? 3 ? ? 3 ? ? 2
因此查找成功時的平均查找長度為(1+2+1+3+3+2)/6=11/6;
查找失敗時的平均查找長度為(1+7+6+5+4+3+2+1+1+1+1+1+1+1)/14=38/14;
這里有一個概念裝填因子=表中的記錄數/哈希表的長度,如果裝填因子越小,表明表中還有很多的空單元,則發生沖突的可能性越小;而裝填因子越大,則發生沖突的可能性就越大,在查找時所耗費的時間就越多。因此,Hash表的平均查找長度和裝填因子有關。有相關文獻證明當裝填因子在0.5左右的時候,Hash的性能能夠達到最優。因此,一般情況下,裝填因子取經驗值0.5。(也就是說所需的實際空間為元素數目的2倍)
Hash表大小的確定也非常關鍵,如果Hash表的空間遠遠大于最后實際存儲的記錄個數,則造成了很大的空間浪費,如果選取小了的話,則容易造成沖突。在實際情況中,一般需要根據最終記錄存儲個數和關鍵字的分布特點來確定Hash表的大小。還有一種情況時可能事先不知道最終需要存儲的記錄個數,則需要動態維護Hash表的容量,此時可能需要重新計算Hash地址。
總結
以上是生活随笔為你收集整理的数据结构-Hash总结(二)的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 愚人节的礼物-栈
- 下一篇: 数据结构-Hash总结(一):理论学习篇