關鍵詞提取 (Keyphrase Extraction，KPE) 任務可以自動提取文檔中能夠概括核心內容的短語，有利于下游信息檢索和 NLP 任務。當前，由于對文檔進行標注需要耗費大量資源且缺乏大規模的關鍵詞提取數據集，無監督的關鍵詞提取在實際應用中更為廣泛。無監督關鍵詞抽取的state of the art（SOTA）方法是對候選詞和文檔標識之間的相似度進行排序來選擇關鍵詞。但由于候選詞和文檔序列長度之間的差異導致了關鍵短語候選和文檔的表征不匹配，導致以往的方法在長文檔上的性能不佳，無法充分利用預訓練模型的上下文信息對短語構建表征。下面主要介紹一些主流的KPE算法。

目錄

數據集

一、基于詞袋加權的TFIDF算法

1.1 代碼實現

1.2 優缺點

二、考慮詞關聯網絡的TextRank算法?

2.1? 代碼實現

2.2??優缺點

三、結合主題的LDA算法?

3.1 代碼實現

3.2?優缺點

四、結合語義編碼的KeyBert算法?

4.1 代碼實現

4.2?優缺點

五、Yake?

5.1 算法思想?

5.2?代碼實現

六、Rake

6.1 算法思想?

6.2?代碼實現

七、Summa?

八、Autophrasex

8.1 算法思想

8.2 代碼實現?

九、?MDERank

9.1 算法思想?

9.2? 實驗結果

十、小結

十一、關鍵詞提取的評價指標?

十二、下一步計劃

---

數據集

數據集來自知網和維普網，知網、維普網等數據集的關鍵詞提取可以作為知識發現的一種途徑，由于當前關鍵詞提取的各類算法各有優劣，基于統計學的算法依賴切分詞效果且缺失上下文語義信息，基于預訓練模型的算法偏向于獲取長度較長的短語，且在英文數據集效果好于中文數據集，可以嘗試結合各類算法結果互補，在缺乏專家知識情況下得到較優的新詞發現結果，然后獲得細粒度的切分詞效果，然后基于詞信息熵約束構建整個概念權重網絡。

?

一、基于詞袋加權的TFIDF算法

TF-IDF是一種統計方法，用以評估一個字詞對于一個文件集或一個語料庫中的其中一份文件的重要程度，字詞的重要性隨著它在文件中出現的次數成正比增加，但同時會隨著它在語料庫中出現的頻率成反比下降，也就是說一個詞語在一篇文章中出現次數越多, 同時在所有文檔中出現次數越少, 越能夠代表該文章。

如果詞w在一篇文檔d中出現的頻率高，并且在其他文檔中很少出現，則認為詞w具有很好的區分能力，適合用來把文章d和其他文章區分開來。

其中：?

1.1 代碼實現

import jieba.posseg import jieba.analyse as analyse text = '''注重數據整合，……風險防控平臺。''' jieba.analyse.extract_tags(text, topK=20, withWeight=True, allowPOS=('ns', 'n', 'vn', 'v','nr', 'nt')) [('人工智能', 1.3136147771513889),('學習', 0.40118887617430554),('教育', 0.3154662543388889),('領域', 0.30068308568944446),('智能', 0.29833992884875),('應用', 0.23755056059833335),('數據挖掘', 0.18343792321388888),('報告', 0.1447372240438889),('美國白宮', 0.14254293739166665),('測評', 0.1342579326025),('戰略規劃', 0.13309985470055555),('關鍵技術', 0.12556757288347223),('迫切需要', 0.12473189897430556),('導師', 0.12365924136402778),('題為', 0.11886588055569443),('方面', 0.11841974111416666),('助手', 0.11316812518263888),('伙伴', 0.10634042710152777),('引領', 0.10570780668152778),('情感', 0.10347510041430556)]

1.2 優缺點

TF-IDF算法的優點是簡單快速，結果比較符合實際情況。缺點是，單純以"詞頻"衡量一個詞的重要性，不夠全面，有時重要的詞可能出現次數并不多。

此外，這種算法無法體現詞的位置信息，出現位置靠前的詞與出現位置靠后的詞，都被視為重要性相同，IDF的簡單結構并不能有效地反映單詞的重要程度和特征詞的分布情況，使其無法很好地完成對權值調整。

二、考慮詞關聯網絡的TextRank算法?

上面說到，TF-IDF基于詞袋模型（Bag-of-Words），把文章表示成詞匯的集合，由于集合中詞匯元素之間的順序位置與集合內容無關，所以TF-IDF指標不能有效反映文章內部的詞匯組織結構。

TextRank由Mihalcea與Tarau提出，通過詞之間的相鄰關系構建網絡，然后用PageRank迭代計算每個節點的rank值，排序rank值即可得到關鍵詞。

??

TextRank是一種基于隨機游走的關鍵詞提取算法，考慮到不同詞對可能有不同的共現（co-occurrence），TextRank將共現作為無向圖邊的權值。

其中，TextRank的迭代計算公式如下：

其實現包括以下步驟：
（1）把給定的文本T按照完整句子進行分割；
（2）對于每個句子，進行分詞和詞性標注處理，并過濾掉停用詞，只保留指定詞性的單詞，如名詞、動詞、形容詞，即，其中 ti,j 是保留后的候選關鍵詞；
（3）構建候選關鍵詞圖G = (V,E)，其中V為節點集，由2)生成的候選關鍵詞組成，然后采用共現關系（co-occurrence）構造任兩點之間的邊，兩個節點之間存在邊僅當它們對應的詞匯在長度為K的窗口中共現，K表示窗口大小，即最多共現K個單詞；
（4）根據上面公式，迭代傳播各節點的權重，直至收斂；
（5）對節點權重進行倒序排序，從而得到最重要的T個單詞，作為候選關鍵詞；
（6）由5得到最重要的T個單詞，在原始文本中進行標記，若形成相鄰詞組，則組合成多詞關鍵詞；?

2.1? 代碼實現

text = '''注重數據整合，……風險防控平臺。''' jieba.analyse.textrank(text, topK=20, withWeight=True, allowPOS=('ns', 'n', 'vn', 'v','nr', 'nt')) [('人工智能', 1.0),('學習', 0.6800568212134035),('智能', 0.4389534533321184),('教育', 0.43548509800254215),('領域', 0.40052664326981924),('應用', 0.2700569709749324),('報告', 0.2670045024866088),('方面', 0.23187049758189643),('美國白宮', 0.212792514544243),('表示', 0.19660053148836146),('技術', 0.19208881567499897),('機器', 0.1866120173833769),('伙伴', 0.18077573362593893),('科技', 0.17403990709678335),('政策', 0.17351519161476764),('辦公室', 0.1729439493752458),('知識', 0.16756939766301235),('體現', 0.1648925203267789),('計算', 0.16287121059070878),('關鍵技術', 0.1626651496174857)]

2.2??優缺點

TextRank與TFIDF均嚴重依賴于分詞結果—如果某詞在分詞時被切分成了兩個詞，那么在做關鍵詞提取時無法將兩個詞黏合在一起

不過，TextRank雖然考慮到了詞之間的關系，但是仍然傾向于將頻繁詞作為關鍵詞。

三、結合主題的LDA算法?

LDA（Latent Dirichlet Allocation）是一種文檔主題生成模型，也稱為一個三層貝葉斯概率模型，包含詞、主題和文檔三層結構。

所謂生成模型，就是說，我們認為一篇文章的每個詞都是通過“以一定概率選擇了某個主題，并從這個主題中以一定概率選擇某個詞語”這樣一個過程得到。文檔到主題服從多項式分布，主題到詞服從多項式分布。

因此計算詞的分布和文檔的分布的相似度，取相似度最高的幾個詞作為關鍵詞。

3.1 代碼實現

下面調用百度預訓練主題模型famila為例，預先訓練2000個主題，得到給定文檔的關鍵詞集合。?

pip install paddlehub -i https://pypi.tuna.tsinghua.edu.cn/simple pip install paddlepaddle -i https://pypi.tuna.tsinghua.edu.cn/simple import paddlehub as hub lda_news = hub.Module(name="lda_news") lda_news.cal_doc_keywords_similarity(text) [{'word': '領域', 'similarity': 0.06851161624447644},{'word': '學習', 'similarity': 0.06485399440791326},{'word': '教育', 'similarity': 0.0495215784697363},{'word': '人工智能', 'similarity': 0.04286504274500501},{'word': '報告', 'similarity': 0.030329787603339084},{'word': '智能', 'similarity': 0.027729840172003375},{'word': '發展', 'similarity': 0.02362142605550909},{'word': '技術', 'similarity': 0.014803972123798883},{'word': '數據', 'similarity': 0.01465273360067766},{'word': '方法', 'similarity': 0.012348153295121723}]

3.2?優缺點

LDA通過主題建模，在一定程度上考慮了文檔與關鍵詞在主題上的一致性，但這需要找到合適的主題數目作為超參數，具體的效果受其影響較大。

四、結合語義編碼的KeyBert算法?

KeyBERT(Sharma, P., & Li, Y. (2019). Self-Supervised Contextual Keyword and Keyphrase Retrieval with Self-Labelling)，提出了一個利用bert快速提取關鍵詞的方法。

原理十分簡單：首先使用 BERT 提取文檔嵌入以獲得文檔級向量表示。隨后，為N-gram 詞/短語提取詞向量，然后，我們使用余弦相似度來找到與文檔最相似的單詞/短語。最后可以將最相似的詞識別為最能描述整個文檔的詞。

其中，有幾個參數：

keyphrase_ngram_range：?默認(1, 1)，表示單個詞， 如"抗美援朝", "紀念日"是孤立的兩個詞；(2, 2)表示考慮詞組， 如出現有意義的詞組 "抗美援朝 紀念日；(1, 2)表示同時考慮以上兩者情況；
top_n:顯示前n個關鍵詞，默認5；
use_maxsum:?默認False;是否使用Max Sum Similarity作為關鍵詞提取標準；
use_mmr:?默認False;是否使用Maximal Marginal Relevance (MMR) 作為關鍵詞提取標準；
diversity:?如果use_mmr=True，可以設置該參數。參數取值范圍從0到1；

4.1 代碼實現

pip install keybert pip install zh_core_web_sm-2.3.1.tar.gz pip install --index https://pypi.mirrors.ustc.edu.cn/simple/ spacy==2.3.1 import os from keybert import KeyBERTkw_model = KeyBERT(model='paraphrase-MiniLM-L6-v2')print("naive ...") keywords = kw_model.extract_keywords(text) print(keywords)print("\nkeyphrase_ngram_range ...") keywords = kw_model.extract_keywords(text, keyphrase_ngram_range=(1, 2), stop_words=None) print(keywords)print("\nhighlight ...") keywords = kw_model.extract_keywords(text, keyphrase_ngram_range=(1, 2), highlight=None) print(keywords)# 為了使結果多樣化，我們將 2 x top_n 與文檔最相似的詞/短語。 # 然后，我們從 2 x top_n 單詞中取出所有 top_n 組合，并通過余弦相似度提取彼此最不相似的組合。 print("\nuse_maxsum ...") keywords = kw_model.extract_keywords(text, keyphrase_ngram_range=(1, 3), stop_words=None,use_maxsum=True, nr_candidates=20, top_n=5) print(keywords)# 為了使結果多樣化，我們可以使用最大邊界相關算法(MMR) # 來創建同樣基于余弦相似度的關鍵字/關鍵短語。 具有高度多樣性的結果： print("\nhight diversity ...") keywords = kw_model.extract_keywords(text, keyphrase_ngram_range=(3, 3), stop_words=None,use_mmr=True, diversity=0.7) print(keywords)# 低多樣性的結果 print("\nlow diversity ...") keywords = kw_model.extract_keywords(text, keyphrase_ngram_range=(3, 3), stop_words=None,use_mmr=True, diversity=0.2) print(keywords) naive ... [('推動實施智能教育的措施不能僅從高等學校人才培養和人工智能發展的必要性角度思考', 0.8883), ('人工智能及其分支技術對美國新聞業的滲透及影響日益深入', 0.8877), ('就人工智能熱潮下中國經濟增長和就業的演進趨勢進行展望', 0.8823), ('探討了人工智能技術在美國新聞業應用的現實狀況', 0.8779), ('并非人類以人工智能為工具進行的個性化表達如果認定其為作品會違背傳統的著作權法理論然而', 0.8767)]keyphrase_ngram_range ... [('在邁向人工智能時代的關鍵時期 聯合國教科文組織2019年5月在中國北京舉辦了首屆國際人工智能與教育大會', 0.9135), ('人工智能及其分支技術對美國新聞業的滲透及影響日益深入 本文探討了人工智能技術在美國新聞業的研發應用格局', 0.9134), ('并非人類以人工智能為工具進行的個性化表達如果認定其為作品會違背傳統的著作權法理論然而 為人工智能的生成成果提供一定程度的著作權法保護具有必要性鑒于人工智能生成成果的保護價值與鄰接權制度的價值相契合', 0.9052), ('就人工智能熱潮下中國經濟增長和就業的演進趨勢進行展望 并給出應對思路和建議', 0.9013), ('教育過程和因材施教實踐所帶來的深刻變革 縱觀國內外人工智能人才戰略規劃', 0.8988)]highlight ... [('在邁向人工智能時代的關鍵時期 聯合國教科文組織2019年5月在中國北京舉辦了首屆國際人工智能與教育大會', 0.9135), ('人工智能及其分支技術對美國新聞業的滲透及影響日益深入 本文探討了人工智能技術在美國新聞業的研發應用格局', 0.9134), ('并非人類以人工智能為工具進行的個性化表達如果認定其為作品會違背傳統的著作權法理論然而 為人工智能的生成成果提供一定程度的著作權法保護具有必要性鑒于人工智能生成成果的保護價值與鄰接權制度的價值相契合', 0.9052), ('就人工智能熱潮下中國經濟增長和就業的演進趨勢進行展望 并給出應對思路和建議', 0.9012), ('教育過程和因材施教實踐所帶來的深刻變革 縱觀國內外人工智能人才戰略規劃', 0.8988)]use_maxsum ... [('人工智能的生成成果是人工智能程序在人類參與度極低的情況下基于數據和算法通過自主學習和建模所自動生成的內容 并非人類以人工智能為工具進行的個性化表達如果認定其為作品會違背傳統的著作權法理論然而 為人工智能的生成成果提供一定程度的著作權法保護具有必要性鑒于人工智能生成成果的保護價值與鄰接權制度的價值相契合', 0.9074), ('應用與研發 美國白宮科技政策辦公室于2016年10月發布了題為 為人工智能的未來做好準備', 0.9086), ('并非人類以人工智能為工具進行的個性化表達如果認定其為作品會違背傳統的著作權法理論然而 為人工智能的生成成果提供一定程度的著作權法保護具有必要性鑒于人工智能生成成果的保護價值與鄰接權制度的價值相契合 可將人工智能生成成果作為廣義上的鄰接權之客體', 0.9119), ('近年來 許多國家將人工智能技術發展列為國家戰略規劃 人工智能技術的快速發展將會給圖書館帶來巨大的影響', 0.9119), ('在邁向人工智能時代的關鍵時期 聯合國教科文組織2019年5月在中國北京舉辦了首屆國際人工智能與教育大會 并形成成果文件', 0.9133)]hight diversity ... [('最后對人工智能在電力系統及綜合能源系統中應用所面臨的挑戰進行了分析和展望 2016年10月 美國國家科學與技術委員會相繼發布了兩份關于人工智能領域的美國國家戰略報告', 0.9437), ('educational artificial intelligence', 0.0517), ('development strategic plan', 0.1816), ('數字計算機 digital computer', 0.3279), ('preparing for the', 0.1783)]low diversity ... [('最后對人工智能在電力系統及綜合能源系統中應用所面臨的挑戰進行了分析和展望 2016年10月 美國國家科學與技術委員會相繼發布了兩份關于人工智能領域的美國國家戰略報告', 0.9437), ('人工智能與教育相互賦能成為時代命題 在邁向人工智能時代的關鍵時期 聯合國教科文組織2019年5月在中國北京舉辦了首屆國際人工智能與教育大會', 0.9288), ('并非人類以人工智能為工具進行的個性化表達如果認定其為作品會違背傳統的著作權法理論然而 為人工智能的生成成果提供一定程度的著作權法保護具有必要性鑒于人工智能生成成果的保護價值與鄰接權制度的價值相契合 可將人工智能生成成果作為廣義上的鄰接權之客體', 0.9119), ('對我國的現代化建設將具有重大的現實意義和深遠的戰略意義 人工智能的生成成果是人工智能程序在人類參與度極低的情況下基于數據和算法通過自主學習和建模所自動生成的內容 并非人類以人工智能為工具進行的個性化表達如果認定其為作品會違背傳統的著作權法理論然而', 0.9035), ('從為數不多的公開報道的人工智能專利訴訟案件中 我們已經感受到了人工智能領域知識產權戰爭的硝煙 2017年', 0.9143)] import keybert import jieba from keybert import KeyBERT model = KeyBERT('bert-base-chinese') doc = " ".join(jieba.cut(text)) keywords = model.extract_keywords(doc, keyphrase_ngram_range=(1,1), top_n=20) keywords [('聯合國教科文組織', 0.7681),('國家科學技術委員會', 0.7416),('北京大學法學院', 0.7122),('中南財經政法大學', 0.6801),('人工智能', 0.6776),('計算機科學', 0.6726),('華東師范大學', 0.668),('就業機會', 0.6372),('信息技術', 0.6331),('課程體系', 0.6325),('計算機輔助', 0.63),('著作權法', 0.6291),('保障機制', 0.6259),('深入開展', 0.6253),('機器人學', 0.6216),('醫護人員', 0.6204),('個人信息', 0.6202),('信息科學', 0.6162),('各行各業', 0.616),('基因工程', 0.611)] import keybert import jieba from keybert import KeyBERT model = KeyBERT('bert-base-chinese') # doc = " ".join(jieba.cut(text)) keywords = model.extract_keywords(text, keyphrase_ngram_range=(1,1), top_n=20) keywords [('推動實施智能教育的措施不能僅從高等學校人才培養和人工智能發展的必要性角度思考', 0.9416),('為人工智能的生成成果提供一定程度的著作權法保護具有必要性鑒于人工智能生成成果的保護價值與鄰接權制度的價值相契合', 0.9397),('探討了現階段影響基于人工智能的數據分析技術在狀態檢修領域應用效果的關鍵問題', 0.9368),('我國現行刑法體系對于人工智能時代有關主體刑事責任的追究具有一定的局限性和滯后性', 0.9353),('對這些深層問題的思考和回答將是決定人工智能在教育上乃至在未來社會能夠走多遠的關鍵', 0.9346),('從教育的本質特征和人工智能的研究領域來分析人工智能與教育的關系', 0.9322),('人工智能作品的著作權歸屬以及人工智能背景下的壟斷與不正當競爭等問題', 0.9303),('人工智能技術的快速發展將對國際關系領域產生深遠的影響', 0.9282),('人工智能與信息推薦是近年來信息科學領域最受關注的兩個前沿課題', 0.9261),('人工智能生成物應當作為人利用人工智能創作的作品并按照現行著作權法關于作品的構成要件判斷其獨創性', 0.9258),('另一方面知識產權保護是建設創新型國家所面臨的最重要的問題之一', 0.9254),('2016年alphago的異軍突起引起了全社會對人工智能的廣泛關注', 0.9251),('必然會導致以激勵人類知識創新為核心的著作權制度在理論上難以自洽', 0.9246),('理論界與實踐界應更加密切關注人工智能的后續發展', 0.9236),('人工智能的生成成果是人工智能程序在人類參與度極低的情況下基于數據和算法通過自主學習和建模所自動生成的內容', 0.9233),('人工智能教育應用現狀與發展趨勢研究有助于推動技術與教育的深度融合發展', 0.9229),('而人工智能與多種技術形成的新型交叉技術已經廣泛地應用于移動互聯網', 0.9226),('文章將從激勵論和市場競爭的角度對是否應授予人工智能創作物以版權保護的不同政策選擇的利弊進行分析', 0.9226),('深度學習算法的突破使人工智能技術進入了新一輪的高速發展周期', 0.9219),('人工智能的發展已經使得文學藝術領域作品的創作不再為人類所壟斷', 0.9212)]

4.2?優缺點

Keybert基于一種假設，關鍵詞與文檔在語義表示上是一致的，利用bert的編碼能力，能夠得到較好的結果。

但缺點很明顯：

首先，不同的語義編碼模型會產生不同的結果，這個比較重要。

此外，由于bert只能接受限定長度的文本，例如512個字，這個使得我們在處理長文本時，需要進一步加入摘要提取等預處理措施，這無疑會帶來精度損失。

五、Yake?

5.1 算法思想?

它是一種輕量級、無監督的自動關鍵詞提取方法，它依賴于從單個文檔中提取的統計文本特征來識別文本中最相關的關鍵詞。該方法不需要針對特定的文檔集進行訓練，也不依賴于字典、文本大小、領域或語言。Yake 定義了一組五個特征來捕捉關鍵詞特征，這些特征被啟發式地組合起來，為每個關鍵詞分配一個分數。分數越低，關鍵字越重要。你可以閱讀原始論文[2]，以及yake 的Python 包[3]關于它的信息。

特征提取主要考慮五個因素(去除停用詞后)

大寫term

(Casing)
大寫字母的term（除了每句話的開頭單詞）的重要程度比那些小寫字母的term重要程度要大。?

其中，表示該詞的大寫次數，?表示該詞的縮寫次數。

詞的位置

(Word Position)
文本越開頭的部分句子的重要程度比后面的句子重要程度要大。

其中表示包含該詞的所有句子在文檔中的位置中位數。

詞頻

(Term Frequency)
一個詞在文本中出現的頻率越大，相對來說越重要，同時為了避免長文本詞頻越高的問題，會進行歸一化操作。

其中，MeanTF是整個詞的詞頻均值，??是標準差。

上下文關系

(Term Related to Context)
一個詞與越多不相同的詞共現，該詞的重要程度越低。

其中??表示窗口size為??從左邊滑動， DR表示從右邊滑動。?表示出現在固定窗口大小為 w下，出現不同的詞的個數。?表示所有詞頻的最大值。

詞在句子中出現的頻率

(Term Different Sentence)：一個詞在越多句子中出現，相對更重要

其中 SF(t) 是包含詞t tt的句子頻率，?表示所有句子數量。
最后計算每個term的分值公式如下：

S(t)表示的是單詞 t 的分值情況，其中 s(t) 分值越小，表示的單詞 t 越重要。

5.2?代碼實現

pip install git+https://github.com/LIAAD/yake

首先從 Yake 實例中調用?KeywordExtractor?構造函數，它接受多個參數，其中重要的是：要檢索的單詞數top，此處設置為 10。參數?lan：此處使用默認值en。可以傳遞停用詞列表給參數?stopwords。然后將文本傳遞給?extract_keywords?函數，該函數將返回一個元組列表?(keyword: score)。關鍵字的長度范圍為 1 到 3。?

import yake title = '人工智能' full_text = title +", "+ text full_text = " ".join(jieba.cut(full_text)) kw_extractor = yake.KeywordExtractor(top=10, n=1,stopwords=None) keywords = kw_extractor.extract_keywords(full_text) for kw, v in keywords:print("Keyphrase: ",kw, ": score", v) Keyphrase: 人工智能 : score 1.2726925778426499e-05 Keyphrase: 機器人 : score 0.0003960331506800356 Keyphrase: 圖書館 : score 0.0017620405819233243 Keyphrase: STEM : score 0.0018281187867754825 Keyphrase: 刑事責任 : score 0.002066516885053515 Keyphrase: 個性化 : score 0.002356090299070339 Keyphrase: 智能化 : score 0.0033658602388738313 Keyphrase: 人才培養 : score 0.003954639032169166 Keyphrase: 資源管理 : score 0.004255070574530873 Keyphrase: 著作權法 : score 0.004728008509892105 Keyphrase: 生成物 : score 0.005241329661570213 Keyphrase: 使用者 : score 0.005845555794886875 Keyphrase: 互聯網 : score 0.005889898907848213 Keyphrase: 知識產權 : score 0.00589953336628331 Keyphrase: 職業培訓 : score 0.006608544692913609 Keyphrase: 進一步 : score 0.0066618802973781935 Keyphrase: 程序設計 : score 0.007409809042653846 Keyphrase: 自然人 : score 0.007485194481383966 Keyphrase: 控制能力 : score 0.007494260825899035 Keyphrase: 信息技術 : score 0.007530569139208396

六、Rake

6.1 算法思想?

Rake 是 Rapid Automatic Keyword Extraction 的縮寫，它是一種從單個文檔中提取關鍵字的方法。實際上提取的是關鍵的短語(phrase)，并且傾向于較長的短語，在英文中，關鍵詞通常包括多個單詞，但很少包含標點符號和停用詞，例如and，the，of等，以及其他不包含語義信息的單詞。

Rake算法首先使用標點符號（如半角的句號、問號、感嘆號、逗號等）將一篇文檔分成若干分句，然后對于每一個分句，使用停用詞作為分隔符將分句分為若干短語，這些短語作為最終提取出的關鍵詞的候選詞。

每個短語可以再通過空格分為若干個單詞，可以通過給每個單詞賦予一個得分，通過累加得到每個短語的得分。Rake 通過分析單詞的出現及其與文本中其他單詞的兼容性（共現）來識別文本中的關鍵短語。最終定義的公式是:

即單詞??的得分是該單詞的度（是一個網絡中的概念，每與一個單詞共現在一個短語中，度就加1，考慮該單詞本身）除以該單詞的詞頻（該單詞在該文檔中出現的總次數）。

然后對于每個候選的關鍵短語，將其中每個單詞的得分累加，并進行排序，RAKE將候選短語總數的前三分之一的認為是抽取出的關鍵詞。

6.2?代碼實現

不調用包的情況下

import jieba import jieba.posseg as pseg import operator import json from collections import Counter# Data structure for holding data class Word():def __init__(self, char, freq = 0, deg = 0):self.freq = freqself.deg = degself.char = chardef returnScore(self):return self.deg/self.freqdef updateOccur(self, phraseLength):self.freq += 1self.deg += phraseLengthdef getChar(self):return self.chardef updateFreq(self):self.freq += 1def getFreq(self):return self.freq# Check if contains num def notNumStr(instr):for item in instr:if '\u0041' <= item <= '\u005a' or ('\u0061' <= item <='\u007a') or item.isdigit():return Falsereturn True# Read Target Case if Json def readSingleTestCases(testFile):with open(testFile) as json_data:try:testData = json.load(json_data)except:# This try block deals with incorrect json format that has ' instead of "data = json_data.read().replace("'",'"')try:testData = json.loads(data)# This try block deals with empty transcript fileexcept:return ""returnString = ""for item in testData:try:returnString += item['text']except:returnString += item['statement']return returnStringdef run(rawText):# Construct Stopword LibswLibList = [line.rstrip('\n') for line in open(r"../../../stopword/stopwords.txt",'r',encoding='utf-8')]# Construct Phrase Deliminator LibconjLibList = [line.rstrip('\n') for line in open(r"wiki_quality.txt",'r',encoding='utf-8')]# Cut TextrawtextList = pseg.cut(rawText)# Construct List of Phrases and Preliminary textListtextList = []listofSingleWord = dict()lastWord = ''poSPrty = ['m','x','uj','ul','mq','u','v','f']meaningfulCount = 0checklist = []for eachWord, flag in rawtextList:checklist.append([eachWord,flag])if eachWord in conjLibList or not notNumStr(eachWord) or eachWord in swLibList or flag in poSPrty or eachWord == '\n':if lastWord != '|':textList.append("|")lastWord = "|"elif eachWord not in swLibList and eachWord != '\n':textList.append(eachWord)meaningfulCount += 1if eachWord not in listofSingleWord:listofSingleWord[eachWord] = Word(eachWord)lastWord = ''# Construct List of list that has phrases as wrdsnewList = []tempList = []for everyWord in textList:if everyWord != '|':tempList.append(everyWord)else:newList.append(tempList)tempList = []tempStr = ''for everyWord in textList:if everyWord != '|':tempStr += everyWord + '|'else:if tempStr[:-1] not in listofSingleWord:listofSingleWord[tempStr[:-1]] = Word(tempStr[:-1])tempStr = ''# Update the entire Listfor everyPhrase in newList:res = ''for everyWord in everyPhrase:listofSingleWord[everyWord].updateOccur(len(everyPhrase))res += everyWord + '|'phraseKey = res[:-1]if phraseKey not in listofSingleWord:listofSingleWord[phraseKey] = Word(phraseKey)else:listofSingleWord[phraseKey].updateFreq()# Get score for entire SetoutputList = dict()for everyPhrase in newList:if len(everyPhrase) > 5:continuescore = 0phraseString = ''outStr = ''for everyWord in everyPhrase:score += listofSingleWord[everyWord].returnScore()phraseString += everyWord + '|'outStr += everyWordphraseKey = phraseString[:-1]freq = listofSingleWord[phraseKey].getFreq()if freq / meaningfulCount < 0.01 and freq < 3 :continueoutputList[outStr] = scoresorted_list = sorted(outputList.items(), key = operator.itemgetter(1), reverse = True)return sorted_list[:50]if __name__ == '__main__':with open(r'Ai_zhaiyaohebing.txt','r') as fp:text = ''for i in range(100):text += fp.readline() # print(text)result = run(text)print(result) [('人力資源管理', 4.75), ('金融風險管理領域', 4.58183990442055), ('新工科', 4.203030303030303), ('混合式教學', 3.9035087719298245), ('發展歷程', 3.59047619047619), ('嚴重危害社會', 3.4918032786885247), ('創作物', 3.4154135338345863), ('刑事風險', 3.404891304347826), ('產業發展', 3.1469979296066253), ('快速發展', 2.8154761904761907), ('深度融合', 2.7992424242424243), ('智能系統', 2.764596273291925), ('人類社會', 2.7095452141723957), ('社會風險', 2.709194583036351), ('現行著作權法', 2.6240601503759398), ('革命', 2.5555555555555554), ('發展方向', 2.5434173669467786), ('監督義務', 2.5214285714285714), ('人類智能', 2.339481065918654), ('研究現狀', 2.3337662337662337), ('發展現狀', 2.2813852813852815), ('新技術', 2.2503987240829346), ('人力', 2.25), ('發展建議', 2.1904761904761907), ('刑事', 2.1875), ('科技', 2.1818181818181817), ('技術發展', 2.137844611528822), ('醫療', 2.125), ('辦案', 2.125), ('主導', 2.111111111111111), ('新聞', 2.111111111111111), ('發展過程', 2.0967261904761907), ('輔助', 2.090909090909091), ('新時代', 2.0377241805813235), ('新挑戰', 2.005733005733006), ('素養', 2.0), ('新一輪', 2.0), ('越來越', 2.0), ('金融風險', 2.0), ('智能作品', 1.9896636587366694), ('產業', 1.9565217391304348), ('人才', 1.9333333333333333), ('水平', 1.9), ('協同', 1.8571428571428572), ('智能機器', 1.805072463768116), ('平衡', 1.8), ('全球', 1.8), ('強智能', 1.7884057971014493), ('狀態', 1.7692307692307692), ('學科', 1.75)]

調用包的情況下?

pip install multi_rake from multi_rake import Rake rake = Rake() keywords = rake.apply(text) print(keywords[:20]) [('以應對人工智能的快速發展。 人工智能是人類社會的偉大發明', 4.0), ('適時進行機器人專門立法。 近期國內召開的人工智能教育論壇', 4.0), ('的人才培養體系。 對人工智能創作物的可版權性判斷', 4.0), ('以鼓勵投資人并促進人工智能技術的長足發展。 近幾年', 4.0), ('未來教育將是教師與人工智能教師協同共存的時代。 以大數據、云計算、移動互聯網等技術為代表的信息技術生態系統的形成和發展', 4.0), ('具有一定借鑒意義。 如果人工智能生成的內容在表現形式上不符合作品的構成要件', 4.0), ('并不意味著著作權法因人工智能而改變。 人工智能時代的到來必將帶來風險', 4.0), ('教育中的人工智能將走向人機協同的增強智能。 美國總統行政辦公室聯合美國國家科學技術委員會', 4.0), ('以期為相關研究提供有益的借鑒和參考。 當前人工智能本質上是人類輔助工具', 4.0), ('以從反面論證當前對人工智能沒有必要作為刑事主體認定。 在當今信息革命時代', 4.0), ('構建智慧社會的法治秩序。 新技術帶來的教育變革方興未艾', 4.0), ('基于智慧教育的框架對機器學習的教育應用與創新提出了相關建議。 現行法律體系下對于人工智能的法律人格規制缺位', 4.0), ('通過強制投保責任險、確立以人為本的監管體系、加速《人工智能發展法》立法等體系性安排促進人工智能在可控的范圍內發展。 新技術浪潮洶涌而至。大數據、并行計算和深度學習驅動人工智能技術飛速發展', 4.0), ('旨在為我國人工智能與教育的融合發展提供理論指導。 人工智能的發展', 4.0), ('構成了人工智能語境下的法律轉型。 隨著自動駕駛汽車等智能機器人的自主性、學習和適應能力不斷增強', 4.0), ('是建設校本人工智能教學資源的主要策略。 人工智能從輔助人類創造的工具逐漸發展到具有自主創造的能力。計算機輔助完成的創新成果體現了人類的創造性', 4.0), ('其權利歸屬問題也同樣可以在不與傳統規則相沖突的方式下得到解決。 正人工智能正以超出人們預想的速度發展。2017年', 4.0), ('華東師范大 推進能源生產和消費革命', 4.0), ('最后對人工智能在電力系統及綜合能源系統中應用所面臨的挑戰進行了分析和展望。 2016年10月', 4.0), ('preparing for', 4.0)]

七、Summa?

pip install summa from summa import keywords TR_keywords = keywords.keywords(full_text, scores=True) print(TR_keywords[0:20]) [('人工智能', 0.20105816731313303), ('年', 0.11016040768956535), ('神經網絡', 0.06388799726915423), ('近年來', 0.04027526419089607), ('intelligence', 0.03653466362942308), ('在大數據的支持下', 0.0346246971866595), ('artificial', 0.029128810102958716), ('strategic', 0.023389329179370238), ('plan', 0.021451371397580698), ('人類心智和認知分為神經', 0.020984152907027116), ('年alphago的異軍突起引起了全社會對人工智能的廣泛關注', 0.02098414835783193), ('人工智能體的擬主體性賦予了人工智能特有的擬倫理角色', 0.020984148321143422), ('人工智能擁有類似人類的智能', 0.020984148286721082), ('智能機器人實施嚴重危害社會的行為可分為兩種', 0.02098414799550613), ('進入大數據人工智能時代', 0.020984147618257863), ('人類已步入人工智能時代', 0.020984146933629117), ('面對人工智能技術浪潮的再次爆發', 0.020984145756245923), ('介紹了中國人工智能從迷霧重重', 0.020984139474778257), ('大智能時代的來臨', 0.02098413435650319), ('混合式教學通過', 0.020984132401813637)] from summa import summarizer from summa import keywordsif __name__ == "__main__":my_summary = summarizer.summarize(text)my_keywords = keywords.keywords(text)# print("my_summary = \n{0}".format(my_summary))print("my_keywords = \n{0}".format(my_keywords)) my_keywords = 人工智能 年 神經網絡 近年來 intelligence 在大數據的支持下 artificial strategic plan 人類心智和認知分為神經 年alphago的異軍突起引起了全社會對人工智能的廣泛關注 人工智能體的擬主體性賦予了人工智能特有的擬倫理角色 人工智能擁有類似人類的智能 智能機器人實施嚴重危害社會的行為可分為兩種 進入大數據人工智能時代 人類已步入人工智能時代 面對人工智能技術浪潮的再次爆發 介紹了中國人工智能從迷霧重重 大智能時代的來臨 混合式教學通過 人工智能時代即將到來 人工智能時代的到來必將帶來風險 人工智能在經歷了多次起伏之后 對人工智能創作物如何保護 現行法律體系下對于人工智能的法律人格規制缺位

八、Autophrasex

8.1 算法思想

Autophrasex是新詞發現算法，主要思想是：

Robust Positive-Only Distant Training：使用wiki和freebase作為顯眼數據，根據知識庫中的相關數據構建Positive Phrases,根據領域內的文本生成Negative Phrases，構建分類器后根據預測的結果減少負標簽帶來的噪音問題。

POS-Guided Phrasal Segmentation：使用POS詞性標注的結果，引導短語分詞，利用POS的淺層句法分析的結果優化Phrase bo

AutoPhrase可以支持任何語言，只要該語言中有通用知識庫。與當下最先進的方法比較，新方法在跨不同領域和語言的5個實際數據集上的有效性有了顯著提高。

8.2 代碼實現?

pip install autophrasex from autophrasex import *# 構造autophrase autophrase = AutoPhrase(reader=DefaultCorpusReader(tokenizer=JiebaTokenizer()),selector=DefaultPhraseSelector(),extractors=[NgramsExtractor(N=4),?IDFExtractor(),?EntropyExtractor()] )# 開始挖掘 predictions = autophrase.mine(corpus_files=['./Aizhaiyao.txt'],quality_phrase_files='./wiki_quality.txt',callbacks=[LoggingCallback(),ConstantThresholdScheduler(),EarlyStopping(patience=2, min_delta=5)])# 輸出挖掘結果 for pred in predictions:print(pred) ('教育 人工智能', 0.31) ('智能 機器人', 0.2) ('教學', 0.18) ('價值', 0.18) ('職業培訓', 0.17) ('教師', 0.17) ('智能', 0.15) ('實踐', 0.14) ('人工智能 產品', 0.13) ('人力', 0.13) ('人類', 0.12) ('學習', 0.12) ('分析', 0.12) ('創新', 0.12) ('資源', 0.12) ('新聞', 0.12) ('規制', 0.11) ('提高', 0.11) ('個性化 學習', 0.11) ('體現', 0.11) ('嚴重危害', 0.11) ('研究', 0.1) ('領域', 0.1) ('人力 資源管理', 0.1) ('生成物', 0.1) ('控制能力', 0.1) ('信息化', 0.1)

九、?MDERank

相關研究ACL2022最新進展（MDERank），主要采用如下方法：

9.1 算法思想?

1.由原先的短語-文本層面的相似度計算通過掩碼轉換為文本-文本層面，從而解決了長度不匹配的問題。

2.避免了使用短語的表征，而是使用掩碼后的文本替代候選詞，由此可以獲得充分利用了上下文信息的文本表征。

1. 絕對采樣：利用現有的無監督關鍵詞提取方法，對每篇文章抽取得到關鍵詞集合，將這些“關鍵詞”作為正例對原始文章進行掩碼。然后在剩下候選詞（“非關鍵詞”）中隨機抽取作為負例。

2. 相對采樣：利用現有的無監督關鍵詞提取方法，對每篇文章抽取得到 d 關鍵詞集合，在關鍵詞集合中，隨機抽取兩個“關鍵詞”，其中排名靠前的一個作為正例，另一個則為負例，從而構建訓練數據。

9.2? 實驗結果

十、小結

從中我們可以看到，TF-IDF基于統計易于實現，但是缺點就是沒有考慮詞與詞，詞與文檔之間的關系。

TextRank考慮了詞與詞之間的關系(提取思想就是從窗口之間的詞匯關系而來)，但是缺點是它針對的是單個文本，而不是整個語料，在詞匯量比較少的文本中，也就是短文中，效果不會太好。

以上兩種方式都沒有考慮到詞和整個文檔的相關性或者一致性。

因此，如果認為關鍵詞與文檔在主題分布或者語義分布是一致或者相似時，我們就可以進一步的展開嘗試。

例如，LDA主題模型認為文檔是有很多主題組成的，文檔既是主題的分布也是關鍵詞的分布，可以計算詞的主題分布與文檔主題分布的相似性，抽取關鍵詞。

通過Bert編碼，可以分別得到文檔和詞語的embedding表示，通過比對兩者之間的相似度，然后排序，可以得到關鍵詞集合。

這兩種都是很直接的想法，并且可以快速平移至摘要抽取上，如同類思想的BertSum工作。

基于統計學的關鍵詞提取算法，依賴于切分詞，然而普適的切分詞，在缺乏領域知識情況下，很容易將我們需要的信息切分開。?

基于深度學習的keybert只能接受限定長度的文本，例如512個字，這個使得我們在處理長文本時，需要進一步加入摘要提取等預處理措施，這無疑會帶來精度損失。而且在沒有切分詞的情況下，生成的結果偏向于長短語，常常達不到預期的效果。?

十一、關鍵詞提取的評價指標?

關鍵詞的評價也是一個關鍵問題，一般來說，主要有以下幾種方式：

搜索推薦評價指標Precision@k、Recall@k、F1@k假設對于一個查詢，真實相關的結果是{A，C，E, Q}，搜索模型得到5個結果{A, B, C, D, E}，則其中只有A，C，E是相關的，標記為{1, 0, 1, 0, 1}，1表示相關，0表示不相關。?

1、F1@1:針對top-1的結果計算F1 score

在具體計算上，得到輸出的關鍵詞序列后,獲取其中的第一個關鍵詞和GT中的第一個關鍵詞作對比,從而計算出f1 score；?

2、F1@3:針對top-3的結果計算F1 score

在具體計算上，得到關鍵詞序列中的前三關鍵詞與GT中的關鍵詞做對比(不關心這三個關鍵詞的相互順序)

3、MAP（mean average precision）平均精度均值：

在具體計算上，先求出每個候選詞在當前文本的精確率（TP/(TP+FP)），然后將這一段文本的所有候選詞精確率求和并除以候選詞個數得到該文本的平均精確率（AP），最后將所有文本的平均精確率相加后除以文本數，就得到平均精度均值（MAP）。

十二、下一步計劃

import pandas as pd count = {} filename = "./AI_test.csv" inputs = pd.read_excel(filename) for text in inputs['關鍵詞’]: for char in str(text).split():if char in count:count[char] +=1else:count[char] = 1 {'人工智能': 84, '教育人工智能': 5, 'EAI': 1, '機器學習': 4, '社會風險': 2, '法律挑戰': 1, '制度安排': 1, '人工智能+教育': 1, '智能教育': 2, '智能作品': 1, '自然人': 1, '版權': 1, '人工智能教育應用': 3, '人工智能教師': 1, '協同共存': 1, 'AI': 5, '教育生態系統': 1, '獨創性': 3, '刑事風險': 1, '刑事責任': 3, '嚴格責任': 2, '智能教學系統': 2, '學習分析': 1, '智慧教育': 2, '教育應用': 3, '主體地位': 1, '刑罰目的': 1, '法律規制': 2, '智慧社會': 1, '個性化學習': 2, '法律人格': 2, '人權': 1, '數據安全': 1, '深度學習': 4, 'ITS': 1, '自動化測評': 1, '法律認知': 1, '法律規則': 1, '法律價值': 1, '自動駕駛汽車': 1, '智能機器人': 6, '差別化責任': 1, 'AI教育': 1, 'AI課程與教學': 1, '計算思維': 1, '人工智能創造物': 1, '人類受眾': 1, '作者': 1, '知識產權': 2, '未來教育': 2, '教育信息化': 1, '電力系統': 1, '綜合能源系統': 1, '網絡社會': 1, '大數據': 5, '美國': 1, '人工智能生成內容': 1, '著作權': 1, '類腦智能': 1, '認知計算': 1, '認知腦計算模型': 1, '弱人工智能': 3, '強人工智能': 2, '獨立意志': 1, '辨認控制能力': 1, '法律人工智能': 1, '法律數據': 1, '算法': 4, '創作物': 1, '作品': 1, '版權保護': 1, '“人工智能+”時代': 1, '人工智能技術': 1, '學習行為': 1, '學習空間': 1, 'PST框架': 1, '教育目標': 1, '可版權性': 1, '人類社會': 1, '人工智能領域': 1, '隱私保護': 1, '個人信息': 1, '人工神經網絡': 1, '人-機系統': 1, '人工智能生成成果': 1, '鄰接權': 2, '數據成果': 1, '數據處理者權': 1, '智慧圖書館': 1, '智慧服務': 1, '智能圖書館': 2, '人工智能生成物': 3, '著作權法': 1, 'STEM/STEAM': 1, '法律': 2, '電子人': 1, '新工科': 2, '人才培養': 2, '技術框架': 1, '應用模式': 1, '發展難題': 1, '圖書館': 4, 'AlphaGo': 1, '蒙特卡洛樹搜索': 1, '倫理': 1, '智能體': 1, '擬主體性': 1, '群體智能': 1, '教學機器': 1, '量子力學': 1, '物理主義': 1, '教育': 1, '未來社會': 1, '人工智能體': 1, '意志能力': 1, '物質性條件': 1, '機器人': 1, '就業': 2, '職業培訓': 1, '主體': 1, '客體': 1, '理性': 1, '計算機輔助教學': 1, '治理': 1, '公共政策': 1, '人工智能教育': 1, '教育人工智能技術框架': 1, '人工智能時代原住民': 1, '智能時代': 1, '信息技術': 1, '圖書館服務': 1, '機器人權利': 1, '法律擬制': 1, '擬制電子人': 1, '《北京共識》': 1, '教育發展': 1, '可持續發展': 1, '戰略博弈': 1, '軍事系統': 1, 'STEM教育': 1, '跨學科': 1, '模式': 1, '人工智能時代': 1, '普通機器人': 1, '經濟增長': 1, '收入不平等': 1, '混合式教學': 1, '發展應用': 1, '辯證關系': 1, '中國': 2, '智能科學': 1, '行政倫理': 1, '政府轉型': 1, '社會管理': 1, '刑事法治理念': 1, '犯罪主體地位': 1, '人工智能犯罪': 1, '人類心智': 1, '人類認知': 1, '人類智能': 1, '人工智能產業': 1, '發展現狀': 1, '對策': 1, '刑事責任能力': 1, '刑責承擔范圍': 1, '人工智能+': 1, '創新創業教育': 1, '復旦共識': 1, '多元智能': 1, '技術發展': 1, '人工智能創作物': 1, '非創作性投入': 1, '利益平衡': 1, '多方位挑戰': 1, '老齡化': 1, '智能化生產': 1, '替代效應': 1, '人機共存': 1, '人性解放': 1, '機器人道德倫理': 1, '刑法規制': 1, '實證性': 1, '監管者': 1, '生產性資源': 1, '智能教育應用': 1, '個性化': 1, '智能教育核心服務': 1, '教育信息化2.0': 1, '“智能+”校園': 1, '教育生態': 1, '司法權': 1, '司法運營電腦化': 1, '法律推理': 1, '發展機遇': 1, '作品的作者': 1, '刑事法網': 1, '功能定位': 1, '主體資格': 2, '智能醫療': 1, '智慧醫療': 1, '手術機器人': 1, '創新原理': 1, '高等教育': 1, '學科': 1, '人力資源管理': 1, '薪酬': 1, '績效管理': 1, '會計變革': 1, '風險控制': 1, '專利分析': 1, '產業發展': 1, '移動互聯網': 1, '演進路線': 1, '新聞業': 1, '自動化新聞': 1, '邏輯起點': 1, '邊界': 1, '神經網絡': 1, '支持向量機': 1, '混合智能': 1, '刑事司法': 1, '司法判斷': 1, '規則': 1, '概念內涵': 1, '目標定位': 1, '司法領域': 1, '辦案輔助工具': 1, '數據分析': 1, '電力變壓器': 1, '狀態檢修': 1, '自動化決策': 1, '技術-經濟特征': 1, '高質量增長': 1, '就業結構': 1, '辨認能力': 1, '控制能力': 1, '共同犯罪': 1, '創客教育': 1, '國際考察': 1, '發展策略': 1, '數字圖書館': 1, '信息推薦': 1, '康德哲學': 1, '法律屬性': 1, '人才體系': 1, '智能創新': 1}

結合知網、維普網等數據集的關鍵詞提取可以作為知識發現的一種途徑，由于當前關鍵詞提取的各類算法各有優劣，基于統計學的算法依賴切分詞效果且缺失上下文語義信息，基于預訓練模型的算法偏向于獲取長度較長的短語，且在英文數據集效果好于中文數據集，可以嘗試結合各類算法結果互補，在缺乏專家知識情況下得到較優的新詞發現結果，然后獲得細粒度的切分詞效果，然后基于詞信息熵約束構建整個概念權重網絡。?

參考內容：

1.?NLP關鍵詞提取必備：從TFIDF到KeyBert范式原理優缺點與開源實現

2.?【Python】用 Python 從單個文本中提取關鍵字的四種超棒的方法?

3.?行業短語抽取方案 - 今夜無風 - 博客園 (cnblogs.com)?

總結

以上是生活随笔為你收集整理的KeyBert、TextRank等九种本文关键词提取算法（KPE）原理及代码实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。