Zipf's law(中文似乎叫 齊普夫定律)

這是自然語言處理領域的一個有趣的定律，其實稱為規律更合適，因為這是一個經驗性的結果，是通過統計數據得出來的近似的規律。
它的定義有些繞口，就是說，在一個自然語言的語料庫中，一個詞的出現頻數和這個詞在這個語料中的排名（這個排名是基于出現次數的）成反比。
"Zipf's law states that given some corpus of natural language utterances, the frequency of any word is inversely proportional to its rank in the frequency table. "

舉個例子，在Brown Corpus中，‘the’的排名是最高的，第一位，而它的出現次數是69971。排名第二位的詞是‘of’，出現的次數為36411。 1/2 約等于 36411 / 69971。

再舉個例子，根據M. L. Hanley（1937）中有關James Joyce Ulysses的用詞數據，從中抽取了第10、20等序號的詞，其序號（r）與在書中的出現次數（f）的乘積分別如下表的III欄。除了最后三個數字出入稍大一點，其他的都在26,000左右。而且，Zipf發現常數C乘以10跟該書的實際總詞數260,430很接近，如IV欄所示。

總結

以上是生活随笔為你收集整理的Zipf's law的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。