排名計算問題

計算排名的過程，取決于一系列因素。不同語言的斷字符對文本進行的詞匯切分也不同。例如，字符串“dog-house”可以被一種斷字符斷為“dog”和“house”而被另一種斷字符斷為“dog-house”。這意味著匹配和排名將根據所指定語言而有所不同，因為不僅詞不同，而且文檔長度也不同。文檔長度的差異可能會影響所有查詢的排名。

諸如 IndexRowCount 之類的統計信息可能會大不相同。例如，如果一個目錄的主索引有二十億行，那么對一個新文檔的索引將被編制為內存中的中間索引，而基于該內存中索引內的文檔數對該文檔的排名可能與主索引中的文檔排名不同。因此，建議在完成產生大量要創建索引或重新創建索引的行的任意填充后，使用 ALTER FULLTEXT CATALOG ... REORGANIZE Transact-SQL 語句將這些索引合并為一個主索引。全文引擎也會根據參數（例如中間索引的數目和大小）自動合并索引。

MaxOccurrence 值被規范化到 32 個范圍的其中一個內。這意味著，比方說，50 個詞長的文檔與 100 個詞長的文檔的處理方式相同。下面是用于規范化的表。由于這兩個文檔的長度位于相鄰表值 32 與 128 之間的范圍內，因此將認為它們具有相同的有效長度 128 (32 < docLength <= 128)。

復制代碼

{ 16, 32, 128, 256, 512, 725, 1024, 1450, 2048, 2896, 4096, 5792, 8192, 11585, 16384, 23170, 28000, 32768, 39554, 46340, 55938, 65536, 92681, 131072, 185363, 262144, 370727, 524288, 741455, 1048576, 2097152, 4194304 };

CONTAINSTABLE 排名

排名使用以下算法：

復制代碼

StatisticalWeight = Log2( ( 2 + IndexedRowCount ) / KeyRowCount ) Rank = min( MaxQueryRank, HitCount * 16 * StatisticalWeight / MaxOccurrence )

短語匹配項的排名方式與各個鍵類似，只不過要估計 KeyRowCount（包含該短語的行數），并且此值可能會比實際值大。

ISABOUT 排名

CONTAINSTABLE 使用 ISABOUT 選項支持查詢加權詞。按照傳統信息檢索系統的說法，ISABOUT 表示向量空間查詢。所使用的默認排名算法為廣為人知的公式 Jaccard。將根據查詢中的每個詞計算排名，然后按如下描述將這些排名相結合。

復制代碼

ContainsRank = same formula used for CONTAINSTABLE ranking of a single term (above). Weight = the weight specified in the query for each term. Default weight is 1. WeightedSum = Σ[key=1 to n] ContainsRankKey * WeightKey Rank = ?( MaxQueryRank * WeightedSum ) / ( ( Σ[key=1 to n] ContainsRankKey^2 ) + ( Σ[key=1 to n] WeightKey^2 ) - ( WeightedSum ) )

FREETEXTTABLE 排名

排名基于 OKAPI BM25 排名公式計算。FREETEXTTABLE 查詢將通過派生詞（原始查詢詞的變形）向查詢中添加詞，這些詞將被作為單獨的、與派生出它們的詞沒有特殊聯系的詞來處理。同義詞庫功能派生出的同義詞將被當作單獨的、具有同等加權值的詞來處理。查詢中的每個詞都會對排名產生影響。

復制代碼

Rank = Σ[Terms in Query] w ( ( ( k1 + 1 ) tf ) / ( K + tf ) ) * ( ( k3 + 1 ) qtf / ( k3 + qtf ) ) ) Where: w is the Robertson-Sparck Jones weight. In simplified form, w is defined as: w = log10 ( ( ( r + 0.5 ) * ( N – R + r + 0.5 ) ) / ( ( R – r + 0.5 ) * ( n – r + 0.5 ) ) N is the number of indexed rows for the property being queried. n is the number of rows containing the word. K is ( k1 * ( ( 1 – b ) + ( b * dl / avdl ) ) ). dl is the property length, in word occurrences. avdl is the average length of the property being queried, in word occurrences. k1, b, and k3 are the constants 1.2, 0.75, and 8.0, respectively. tf is the frequency of the word in the queried property in a specific row. qtf is the frequency of the term in the query.

總結

以上是生活随笔為你收集整理的全文索引 排名计算问题的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。