自然语言处理(NLP)入门(1)——前言
什么是NLP?
? 自然語言處理(Natural Language Processing, 簡(jiǎn)稱NLP), 是計(jì)算機(jī)科學(xué)與語言學(xué)中關(guān)注于計(jì)算機(jī)與人類語言間轉(zhuǎn)換的領(lǐng)域, 簡(jiǎn)單來說就是讓計(jì)算機(jī)識(shí)別并理解我們?nèi)祟惖恼Z言,幫助我們完成一些類似翻譯、問答等任務(wù),NLP解決文本任務(wù)但并不限于文本,語音識(shí)別、看圖說話等領(lǐng)域也屬于NLP任務(wù)。
? 計(jì)算機(jī)科學(xué)之父圖靈在1950年發(fā)表的論文中提出“Can machines thinking?”這一劃時(shí)代的問題,從此促成了人類語言與計(jì)算機(jī)科學(xué)的交融。在1957~1970年間,NLP領(lǐng)域開始形成兩大陣營(yíng):基于規(guī)則和基于統(tǒng)計(jì),直到1994~1999年,基于統(tǒng)計(jì)的方法逐漸取得勝利,概率計(jì)算開始引入到NLP領(lǐng)域的每個(gè)任務(wù)中。在2015年之前,NLP的解決方案都來源于機(jī)器學(xué)習(xí),而2015年到至今,深度學(xué)習(xí)技術(shù)深刻改變NLP的未來。
NLP 常見任務(wù)
場(chǎng)景:設(shè)想你現(xiàn)在拿到一張英語試卷,會(huì)有哪些題目呢?
- 判斷題:對(duì)應(yīng)NLP任務(wù)中分類任務(wù),如情感分析等
- 完形填空:對(duì)應(yīng)NLP任務(wù)中的MLM任務(wù)
- 排序:預(yù)訓(xùn)練語句順序打亂, 排序
- 閱讀理解:對(duì)應(yīng)NLP任務(wù)中閱讀理解
- 翻譯: 對(duì)應(yīng)NLP任務(wù)中的機(jī)器翻譯
- 寫作:對(duì)應(yīng)NLP任務(wù)中的文本生成
NLP解決上述任務(wù)的流程:數(shù)據(jù)獲取 -> 文本預(yù)處理 ->模型構(gòu)建 ->模型訓(xùn)練和評(píng)估 -> 模型測(cè)試 ->模型保存
其中重點(diǎn)內(nèi)容就是文本預(yù)處理和模型構(gòu)建的過程,文本預(yù)處理的程度決定了數(shù)據(jù)的優(yōu)質(zhì)程度,數(shù)據(jù)越好,越能達(dá)到預(yù)期,同樣模型就類似人的大腦,越聰明,學(xué)習(xí)的越快,對(duì)數(shù)據(jù)的理解越深刻。
總結(jié)
以上是生活随笔為你收集整理的自然语言处理(NLP)入门(1)——前言的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 利用Python实现视频号自动赚钱一条龙
- 下一篇: 请更换备份电池 pos机_免费邮寄低费率