最常见NLP任务练手项目汇总
-
分詞 Word Segmentation
chqiwang/convseg ，基于CNN做中文分詞，提供數據和代碼。 -
詞預測 Word Prediction
Kyubyong/word_prediction ，基于CNN做詞預測，提供數據和代碼。 -
文本蘊涵 Textual Entailment
Steven-Hewitt/Entailment-with-Tensorflow，基于Tensorflow做文本蘊涵，提供數據和代碼。 -
語音識別 Automatic Speech Recognition
buriburisuri/speech-to-text-wavenet，基于DeepMind WaveNet和Tensorflow做句子級語音識別。 -
自動摘要 Automatic Summarisation
PKULCWM/PKUSUMSUM，北大萬小軍老師團隊的自動摘要方法匯總，包含了他們大量paper的實現，支持單文檔摘要、多文檔摘要、topic-focused多文檔摘要。 -
文本糾錯 Text Correct
atpaino/deep-text-corrector，基于深度學習做文本糾錯，提供數據和代碼。 -
字音轉換 Grapheme to Phoneme
cmusphinx/g2p-seq2seq，基于網紅transformer做， 提供數據和代碼。 -
復述檢測 Paraphrase Detection 和 問答 Question Answering
Paraphrase-Driven Learning for Open Question Answering， 基于復述驅動學習的開放域問答。 -
音漢互譯 Pinyin-To-Chinese
Kyubyong/neural_chinese_transliterator，基于CNN做音漢互譯。 -
情感分析 Sentiment Analysis
情感分析保護的內容太多了，目前沒發現比較全的。推薦兩個適合練手的吧：Deeply Moving: Deep Learning for Sentiment Analysis，http://sentic.net/about/。 -
手語識別 Sign Language Recognition
-
該項目在手語識別做的非常成熟。
-
詞性標注（POS）、 命名實體識別（NER）、 句法分析（parser）、 語義角色標注（SRL） 等。
HIT-SCIR/ltp， 保護代碼、模型、數據，還有詳細的文檔，而且效果還很好。 -
詞干 Word Stemming
snowballstem/snowball， 實現的詞干效果還不錯。 -
語言識別 Language Identification
https://github.com/saffsd/langid.py，語言識別比較好的開源工具。 -
機器翻譯 Machine Translation
OpenNMT/OpenNMT-py， 基于PyTorch的神經機器翻譯，很適合練手。 -
復述生成 Paraphrase Generation
vsuthichai/paraphraser，基于Tensorflow的句子級復述生成，適合練手。 -
關系抽取 Relationship Extraction
ankitp94/relationship-extraction，基于核方法的關系抽取。 -
句子邊界消歧 Sentence Boundary Disambiguation
https://github.com/Orekhov/SentenceBreaking，很有意思。
19.事件抽取 Event Extraction
liuhuanyong/ComplexEventExtraction， 中文復合事件抽取，包括條件事件、因果事件、順承事件、反轉事件等事件抽取，并形成事理圖譜。
-
詞義消歧 Word Sense Disambiguation
alvations/pywsd，代碼不多，方法簡單，適合練手。 -
命名實體消歧 Named Entity Disambiguation
dice-group/AGDISTIS，實體消歧是很重要的，尤其對于實體融合（比如知識圖譜中多源數據融合）、實體鏈接。 -
幽默檢測 Humor Detection
pln-fing-udelar/pghumor -
諷刺檢測 Sarcasm Detection
AniSkywalker/SarcasmDetection，基于神經網絡的諷刺檢測。 -
實體鏈接 Entity Linking
hasibi/EntityLinkingRetrieval-ELR， 實體鏈接用途非常廣，非常適合練手。 -
指代消歧 Coreference Resolution
huggingface/neuralcoref，基于神經網絡的指代消歧。 -
關鍵詞/短語抽取和社會標簽推薦 Keyphrase Extraction and Social Tag Suggestion
thunlp/THUTag, 用多種方法 實現了多種關鍵詞/短語抽取和社會標簽推薦。
總結
以上是生活随笔為你收集整理的最常见NLP任务练手项目汇总的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： python实现全角和半角互相转换
- 下一篇： 培养好的工作和生活习惯