要識別論壇中被大量轉(zhuǎn)載的同一篇文章，初看起來不是一個很難的技術(shù)問題，只要生成所有文章的信息指紋，再將相同指紋分組就可以了。至于產(chǎn)生信息指紋的方式，最簡單的是用MD5或者SHA等單向Hash函數(shù)，如果為了減少存儲以及提高性能，同時可以容許一定誤差，可以再利用BloomFilter。
? 但是結(jié)合實際情況看一下，就能發(fā)現(xiàn)產(chǎn)生這種類別文章的指紋不能簡單的用MD5產(chǎn)生，因為當(dāng)一篇文章被大量復(fù)制轉(zhuǎn)載的時候，未必是一字不差的。特別是一些發(fā)帖軟件為了規(guī)避論壇的檢查，會有意的將內(nèi)容進行變形，插入空格，空白字符，或者進行個別詞語的替換等等；而只要有哪怕一個字的區(qū)別，都會產(chǎn)生全然不同的MD5結(jié)果。
? 還有一個思路是文本向量的匹配，即將文本先分詞再向量化之后比較他們在向量空間中的距離，設(shè)定一個閾值，距離小于該閾值的文本視為相同。這么做最大的好處是具有很好的抗干擾性，如果閾值調(diào)整合理，那么結(jié)果會有比較高的招回率。但是缺點也顯而易見，即計算量太大，而且事實上把尋找大規(guī)模轉(zhuǎn)載貼的問題又?jǐn)U展成了聚類(Clustering)問題。
? 我們后來采用的方式是結(jié)合了兩種方案，即不將全文作為文本向量，而是在文中選取我們認為重要的詞匯（重要性可以根據(jù)該行業(yè)語料庫的TF/IDF詞頻信息判斷)，保留相應(yīng)的語序，再生成MD5。這里的基本假設(shè)是為了傳達相同的信息，大規(guī)模轉(zhuǎn)載貼的變形只會發(fā)生在相對不重要的詞匯上（包含空格，標(biāo)點等），由于我們的算法會忽略這些元素，只關(guān)心核心詞匯，因此能夠在保證準(zhǔn)確度的基礎(chǔ)上獲得一定抗干擾性。
? 從部分分析結(jié)果看，算法的效果還是不錯的，在我們隨機選取的近600萬的帖子中，查找到了近3萬5千條有轉(zhuǎn)載的帖子，而這4萬條帖子包含了大約10000條獨立的內(nèi)容；其中一則內(nèi)容為"所有現(xiàn)車 全部降價出手 .... 交易成功可送車出湖南或代辦安全托運”的賣車貼，除了車型，價格，時間略有變化外，在我們的樣本集里被轉(zhuǎn)載了近1000次。
? 當(dāng)我們忽略轉(zhuǎn)載量小于10的帖子后，剩余的獨立內(nèi)容有370個，而它們的轉(zhuǎn)載總量達到了7878次。我們對轉(zhuǎn)載數(shù)取了對數(shù)，并按照轉(zhuǎn)載數(shù)對內(nèi)容排名，繪出了下列圖表

from:http://blog.csdn.net/CICTech/archive/2009/02/12/3880945.aspx

總結(jié)

以上是生活随笔為你收集整理的对大量转载贴识别算法的研究的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。