特征权重量化 TF-IDF 用于信息检索和数据挖掘的加权技术
生活随笔
收集整理的這篇文章主要介紹了
特征权重量化 TF-IDF 用于信息检索和数据挖掘的加权技术
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
?
TFIDF實際上是:TF * IDF,TF詞頻(Term Frequency),IDF逆向文件頻率(Inverse Document Frequency)。TF表示詞條在文檔d中出現的頻率。IDF的主要思想是:如果包含詞條t的文檔越少,也就是n越小,IDF越大,則說明詞條t具有很好的類別區分能力。
?
TFIDF的主要思想是:如果某個詞或短語在一篇文章中出現的頻率TF高,并且在其他文章中很少出現,則認為此詞或者短語具有很好的類別區分能力,適合用來分類。
TF是指在一個文檔中出現的詞的頻率,詞的次數初一所有的詞數
? 而IDF是所有的文檔中出現該詞的次數越多,則權重就越小。。逆向文件頻率(inverse document frequency,IDF)是一個詞語普遍重要性的度量。某一特定詞語的IDF,可以由總文件數目除以包含該詞語之文件的數目,再將得到的商取對數得到:
最后的相關性的計算
,上述相關性計算的公式就由詞頻的簡單求和變成了加權求和,即 TF1*IDF1 + TF2*IDF2 +... + TFN*IDFN。。
?
轉載于:https://www.cnblogs.com/fxd-address/p/5022140.html
總結
以上是生活随笔為你收集整理的特征权重量化 TF-IDF 用于信息检索和数据挖掘的加权技术的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: jQuery-1.9.1源码分析系列(十
- 下一篇: jsp页面整体无法居中问题的解决方案