1. 為什么需要Simhash?

傳統(tǒng)相似度算法：文本相似度的計(jì)算，一般使用向量空間模型(VSM)，先對(duì)文本分詞，提取特征，根據(jù)特征建立文本向量，把文本之間相似度的計(jì)算轉(zhuǎn)化為特征向量距離的計(jì)算，如歐式距離、余弦夾角等。

缺點(diǎn)：大數(shù)據(jù)情況下復(fù)雜度會(huì)很高。

Simhash應(yīng)用場景：計(jì)算大規(guī)模文本相似度，實(shí)現(xiàn)海量文本信息去重。

Simhash算法原理：通過hash值比較相似度，通過兩個(gè)字符串計(jì)算出的hash值，進(jìn)行異或操作，然后得到相差的個(gè)數(shù)，數(shù)字越大則差異越大。

2. 文章關(guān)鍵詞特征提取算法TD-IDF

詞頻（TF）：一個(gè)詞語在整篇文章中出現(xiàn)的次數(shù)與詞語總個(gè)數(shù)之比；

逆向詞頻（IDF)：一個(gè)詞語，在所有文章中出現(xiàn)的頻率都非常高，這個(gè)詞語不具有代表性，就可以降低其作用，也就是賦予其較小的權(quán)值。

??????? 分子代表文章總數(shù)，分母表示該詞語在這些文章出現(xiàn)的篇數(shù)。一般會(huì)采取分母加一的方法，防止分母為0的情況出現(xiàn)，在這個(gè)比值之后取對(duì)數(shù)，就是IDF了。

??????? 最終用tf*idf得到一個(gè)詞語的權(quán)重，進(jìn)而計(jì)算一篇文章的關(guān)鍵詞。然后根據(jù)每篇文章對(duì)比其關(guān)鍵詞的方法來對(duì)文章進(jìn)行去重。simhash算法對(duì)效率和性能進(jìn)行平衡，既可以很少的對(duì)比（關(guān)鍵詞不能取太多），又能有好的代表性（關(guān)鍵詞不能過少）。

3. Simhash原理

??????? Simhash是一種局部敏感hash。即假定A、B具有一定的相似性，在hash之后，仍然能保持這種相似性，就稱之為局部敏感hash。

??????? 得到一篇文章關(guān)鍵詞集合，通過hash的方法把關(guān)鍵詞集合hash成一串二進(jìn)制，直接對(duì)比二進(jìn)制數(shù)，其相似性就是兩篇文檔的相似性，在查看相似性時(shí)采用海明距離，即在對(duì)比二進(jìn)制的時(shí)候，看其有多少位不同，就稱海明距離為多少。

??????? 將文章simhash得到一串64位的二進(jìn)制，根據(jù)經(jīng)驗(yàn)一般取海明距離為3作為閾值，即在64位二進(jìn)制中，只要有三位以內(nèi)不同，就可以認(rèn)為兩個(gè)文檔是相似的，這里的閾值也可以根據(jù)自己的需求來設(shè)置。也就是把一個(gè)文檔hash之后得到一串二進(jìn)制數(shù)的算法，稱這個(gè)hash為simhash。

simhash具體實(shí)現(xiàn)步驟如下：

1. 將文檔分詞，取一個(gè)文章的TF-IDF權(quán)重最高的前20個(gè)詞（feature）和權(quán)重（weight）。即一篇文檔得到一個(gè)長度為20的（feature：weight）的集合。

2. 對(duì)其中的詞（feature），進(jìn)行普通的哈希之后得到一個(gè)64為的二進(jìn)制，得到長度為20的（hash : weight）的集合。

3. 根據(jù)（2）中得到一串二進(jìn)制數(shù)（hash）中相應(yīng)位置是1是0，對(duì)相應(yīng)位置取正值weight和負(fù)值weight。例如一個(gè)詞進(jìn)過（2）得到（010111：5）進(jìn)過步驟（3）之后可以得到列表[-5,5,-5,5,5,5]。由此可以得到20個(gè)長度為64的列表[weight，-weight...weight]代表一個(gè)文檔。

4. 對(duì)（3）中20個(gè)列表進(jìn)行列向累加得到一個(gè)列表。如[-5,5,-5,5,5,5]、[-3,-3,-3,3,-3,3]、[1,-1,-1,1,1,1]進(jìn)行列向累加得到[-7，1，-9，9，3，9]，這樣，我們對(duì)一個(gè)文檔得到，一個(gè)長度為64的列表。

5. 對(duì)（4）中得到的列表中每個(gè)值進(jìn)行判斷，當(dāng)為負(fù)值的時(shí)候去0，正值取1。例如，[-7，1，-9，9，3，9]得到010111，這樣就得到一個(gè)文檔的simhash值了。

6. 計(jì)算相似性。兩個(gè)simhash取異或，看其中1的個(gè)數(shù)是否超過3。超過3則判定為不相似，小于等于3則判定為相似。

Simhash整體流程圖如下：

?4. Simhash的不足

??????? 完全無關(guān)的文本正好對(duì)應(yīng)成了相同的simhash，精確度并不是很高，而且simhash更適用于較長的文本，但是在大規(guī)模語料進(jìn)行去重時(shí)，simhash的計(jì)算速度優(yōu)勢還是很不錯(cuò)的。

5. Simhash算法實(shí)現(xiàn)

# !/usr/bin/python # coding=utf-8class Simhash:def __init__(self, tokens='', hashbits=128):self.hashbits = hashbitsself.hash = self.simhash(tokens)def __str__(self):return str(self.hash)# 生成simhash值def simhash(self, tokens):v = [0] * self.hashbitsfor t in [self._string_hash(x) for x in tokens]: # t為token的普通hash值for i in range(self.hashbits):bitmask = 1 << iif t & bitmask:v[i] += 1 # 查看當(dāng)前bit位是否為1,是的話將該位+1else:v[i] -= 1 # 否則的話,該位-1fingerprint = 0for i in range(self.hashbits):if v[i] >= 0:fingerprint += 1 << ireturn fingerprint # 整個(gè)文檔的fingerprint為最終各個(gè)位>=0的和# 求海明距離def hamming_distance(self, other):x = (self.hash ^ other.hash) & ((1 << self.hashbits) - 1)tot = 0while x:tot += 1x &= x - 1return tot# 求相似度def similarity(self, other):a = float(self.hash)b = float(other.hash)if a > b:return b / aelse:return a / b# 針對(duì)source生成hash值def _string_hash(self, source):if source == "":return 0else:x = ord(source[0]) << 7m = 1000003mask = 2 ** self.hashbits - 1for c in source:x = ((x * m) ^ ord(c)) & maskx ^= len(source)if x == -1:x = -2return x

測試

if __name__ == '__main__':s = 'This is a test string for testing'hash1 = Simhash(s.split())s = 'This is a string testing 11'hash2 = Simhash(s.split())print(hash1.hamming_distance(hash2), " ", hash1.similarity(hash2))

總結(jié)

以上是生活随笔為你收集整理的Simhash算法及python实现的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。