2019獨(dú)角獸企業(yè)重金招聘Python工程師標(biāo)準(zhǔn)>>>

　通過(guò)?采集系統(tǒng)?我們采集了大量文本數(shù)據(jù)，但是文本中有很多重復(fù)數(shù)據(jù)影響我們對(duì)于結(jié)果的分析。分析前我們需要對(duì)這些數(shù)據(jù)去除重復(fù)，如何選擇和設(shè)計(jì)文本的去重算法？常見的有余弦夾角算法、歐式距離、Jaccard相似度、最長(zhǎng)公共子串、編輯距離等。這些算法對(duì)于待比較的文本數(shù)據(jù)不多時(shí)還比較好用，如果我們的爬蟲每天采集的數(shù)據(jù)以千萬(wàn)計(jì)算，我們?nèi)绾螌?duì)于這些海量千萬(wàn)級(jí)的數(shù)據(jù)進(jìn)行高效的合并去重。最簡(jiǎn)單的做法是拿著待比較的文本和數(shù)據(jù)庫(kù)中所有的文本比較一遍如果是重復(fù)的數(shù)據(jù)就標(biāo)示為重復(fù)。看起來(lái)很簡(jiǎn)單，我們來(lái)做個(gè)測(cè)試，就拿最簡(jiǎn)單的兩個(gè)數(shù)據(jù)使用Apache提供的 Levenshtein for 循環(huán)100w次計(jì)算這兩個(gè)數(shù)據(jù)的相似度。代碼結(jié)果如下：

????????????String?s1?=?"你媽媽喊你回家吃飯哦，回家羅回家羅"?;String?s2?=?"你媽媽叫你回家吃飯啦，回家羅回家羅"?;long?t1?=?System.currentTimeMillis();for?(int?i?=?0;?i?<?1000000;?i++)?{int?dis?=?StringUtils?.getLevenshteinDistance(s1,?s2);}long?t2?=?System.currentTimeMillis();System.?out?.println("?耗費(fèi)時(shí)間：?"?+?(t2?-?t1)?+?"??ms?");

　　耗費(fèi)時(shí)間： 4266 ms

　　大跌眼鏡，居然計(jì)算耗費(fèi)4秒。假設(shè)我們一天需要比較100w次，光是比較100w次的數(shù)據(jù)是否重復(fù)就需要4s，就算4s一個(gè)文檔，單線程一分鐘才處理15個(gè)文檔，一個(gè)小時(shí)才900個(gè)，一天也才21600個(gè)文檔，這個(gè)數(shù)字和一天100w相差甚遠(yuǎn)，需要多少機(jī)器和資源才能解決。

　　為此我們需要一種應(yīng)對(duì)于海量數(shù)據(jù)場(chǎng)景的去重方案，經(jīng)過(guò)研究發(fā)現(xiàn)有種叫 local sensitive hash 局部敏感哈希 的東西，據(jù)說(shuō)這玩意可以把文檔降維到hash數(shù)字，數(shù)字兩兩計(jì)算運(yùn)算量要小很多。查找很多文檔后看到google對(duì)于網(wǎng)頁(yè)去重使用的是simhash，他們每天需要處理的文檔在億級(jí)別，大大超過(guò)了我們現(xiàn)在文檔的水平。既然老大哥也有類似的應(yīng)用，我們也趕緊嘗試下。simhash是由 Charikar 在2002年提出來(lái)的，參考《Similarity estimation techniques from rounding algorithms》?。 介紹下這個(gè)算法主要原理，為了便于理解盡量不使用數(shù)學(xué)公式，分為這幾步：

• 1、分詞，把需要判斷文本分詞形成這個(gè)文章的特征單詞。最后形成去掉噪音詞的單詞序列并為每個(gè)詞加上權(quán)重，我們假設(shè)權(quán)重分為5個(gè)級(jí)別（1~5）。比如：“ 美國(guó)“51區(qū)”雇員稱內(nèi)部有9架飛碟，曾看見灰色外星人 ” ==> 分詞后為 “ 美國(guó)（4） 51區(qū)（5） 雇員（3） 稱（1） 內(nèi)部（2） 有（1） 9架（3） 飛碟（5） 曾（1） 看見（3） 灰色（4） 外星人（5）”，括號(hào)里是代表單詞在整個(gè)句子里重要程度，數(shù)字越大越重要。

• 2、hash，通過(guò)hash算法把每個(gè)詞變成hash值，比如“美國(guó)”通過(guò)hash算法計(jì)算為 100101,“51區(qū)”通過(guò)hash算法計(jì)算為 101011。這樣我們的字符串就變成了一串串?dāng)?shù)字，還記得文章開頭說(shuō)過(guò)的嗎，要把文章變?yōu)閿?shù)字計(jì)算才能提高相似度計(jì)算性能，現(xiàn)在是降維過(guò)程進(jìn)行時(shí)。

• 3、加權(quán)，通過(guò) 2步驟的hash生成結(jié)果，需要按照單詞的權(quán)重形成加權(quán)數(shù)字串，比如“美國(guó)”的hash值為“100101”，通過(guò)加權(quán)計(jì)算為“4 -4 -4 4 -4 4”；“51區(qū)”的hash值為“101011”，通過(guò)加權(quán)計(jì)算為 “ 5 -5 5 -5 5 5”。

• 4、合并，把上面各個(gè)單詞算出來(lái)的序列值累加，變成只有一個(gè)序列串。比如 “美國(guó)”的 “4 -4 -4 4 -4 4”，“51區(qū)”的 “ 5 -5 5 -5 5 5”， 把每一位進(jìn)行累加， “4+5 -4+-5 -4+5 4+-5 -4+5 4+5” ==》 “9 -9 1 -1 1 9”。這里作為示例只算了兩個(gè)單詞的，真實(shí)計(jì)算需要把所有單詞的序列串累加。

• 5、降維，把4步算出來(lái)的 “9 -9 1 -1 1 9” 變成 0 1 串，形成我們最終的simhash簽名。 如果每一位大于0 記為 1，小于0 記為 0。最后算出結(jié)果為：“1 0 1 0 1 1”。

　　整個(gè)過(guò)程圖為：

　　大家可能會(huì)有疑問(wèn)，經(jīng)過(guò)這么多步驟搞這么麻煩，不就是為了得到個(gè) 0 1 字符串嗎？我直接把這個(gè)文本作為字符串輸入，用hash函數(shù)生成 0 1 值更簡(jiǎn)單。其實(shí)不是這樣的，傳統(tǒng)hash函數(shù)解決的是生成唯一值，比如 md5、hashmap等。md5是用于生成唯一簽名串，只要稍微多加一個(gè)字符md5的兩個(gè)數(shù)字看起來(lái)相差甚遠(yuǎn)；hashmap也是用于鍵值對(duì)查找，便于快速插入和查找的數(shù)據(jù)結(jié)構(gòu)。不過(guò)我們主要解決的是文本相似度計(jì)算，要比較的是兩個(gè)文章是否相識(shí)，當(dāng)然我們降維生成了hashcode也是用于這個(gè)目的。看到這里估計(jì)大家就明白了，我們使用的simhash就算把文章中的字符串變成 01 串也還是可以用于計(jì)算相似度的，而傳統(tǒng)的hashcode卻不行。我們可以來(lái)做個(gè)測(cè)試，兩個(gè)相差只有一個(gè)字符的文本串，“你媽媽喊你回家吃飯哦，回家羅回家羅” 和 “你媽媽叫你回家吃飯啦，回家羅回家羅”。

　　通過(guò)simhash計(jì)算結(jié)果為：

　　1000010010101101111111100000101011010001001111100001001011001011

　　1000010010101101011111100000101011010001001111100001101010001011

　　通過(guò) hashcode計(jì)算為：

　　1111111111111111111111111111111110001000001100110100111011011110

　　1010010001111111110010110011101

　　大家可以看得出來(lái)，相似的文本只有部分 01 串變化了，而普通的hashcode卻不能做到，這個(gè)就是局部敏感哈希的魅力。目前Broder提出的shingling算法和Charikar的simhash算法應(yīng)該算是業(yè)界公認(rèn)比較好的算法。在simhash的發(fā)明人Charikar的論文中并沒有給出具體的simhash算法和證明，“量子圖靈”得出的證明simhash是由隨機(jī)超平面hash算法演變而來(lái)的。

　　現(xiàn)在通過(guò)這樣的轉(zhuǎn)換，我們把庫(kù)里的文本都轉(zhuǎn)換為simhash 代碼，并轉(zhuǎn)換為long類型存儲(chǔ)，空間大大減少。現(xiàn)在我們雖然解決了空間，但是如何計(jì)算兩個(gè)simhash的相似度呢？難道是比較兩個(gè)simhash的01有多少個(gè)不同嗎？對(duì)的，其實(shí)也就是這樣，我們通過(guò)海明距離（Hamming distance）就可以計(jì)算出兩個(gè)simhash到底相似不相似。兩個(gè)simhash對(duì)應(yīng)二進(jìn)制（01串）取值不同的數(shù)量稱為這兩個(gè)simhash的海明距離。舉例如下：?10101?和?00110?從第一位開始依次有第一位、第四、第五位不同，則海明距離為3。對(duì)于二進(jìn)制字符串的a和b，海明距離為等于在a XOR b運(yùn)算結(jié)果中1的個(gè)數(shù)（普遍算法）。

　　為了高效比較，我們預(yù)先加載了庫(kù)里存在文本并轉(zhuǎn)換為simhash code 存儲(chǔ)在內(nèi)存空間。來(lái)一條文本先轉(zhuǎn)換為 simhash code，然后和內(nèi)存里的simhash code 進(jìn)行比較，測(cè)試100w次計(jì)算在100ms。速度大大提升。

　　未完待續(xù)：

　　1、目前速度提升了但是數(shù)據(jù)是不斷增量的，如果未來(lái)數(shù)據(jù)發(fā)展到一個(gè)小時(shí)100w，按現(xiàn)在一次100ms，一個(gè)線程處理一秒鐘 10次，一分鐘 60 * 10 次，一個(gè)小時(shí) 60*10 *60 次 = 36000次，一天 60*10*60*24 = 864000次。 我們目標(biāo)是一天100w次，通過(guò)增加兩個(gè)線程就可以完成。但是如果要一個(gè)小時(shí)100w次呢？則需要增加30個(gè)線程和相應(yīng)的硬件資源保證速度能夠達(dá)到，這樣成本也上去了。能否有更好的辦法，提高我們比較的效率？

　　2、通過(guò)大量測(cè)試，simhash用于比較大文本，比如500字以上效果都還蠻好，距離小于3的基本都是相似，誤判率也比較低。但是如果我們處理的是微博信息，最多也就140個(gè)字，使用simhash的效果并不那么理想。看如下圖，在距離為3時(shí)是一個(gè)比較折中的點(diǎn)，在距離為10時(shí)效果已經(jīng)很差了，不過(guò)我們測(cè)試短文本很多看起來(lái)相似的距離確實(shí)為10。如果使用距離為3，短文本大量重復(fù)信息不會(huì)被過(guò)濾，如果使用距離為10，長(zhǎng)文本的錯(cuò)誤率也非常高，如何解決？

轉(zhuǎn)載于:https://my.oschina.net/u/1032350/blog/323501

總結(jié)

以上是生活随笔為你收集整理的【转】海量数据相似度计算之simhash和海明距离的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。