自然語言處理-概述

• 概述
• 1.基本概念
• 2.人類語言技術(shù)HLT發(fā)展簡史
• 3.HLT 研究內(nèi)容
• 4.基本問題和主要困難
• 5.基本研究方法

概述

本系列文章計劃總結(jié)整理中國科學(xué)院大學(xué)宗成慶老師《自然語言處理》課程相關(guān)知識，參考數(shù)目《統(tǒng)計自然語言處理》-第二版，宗成慶。

1.基本概念

語言學(xué)：(Linguistics) 研究語言本質(zhì)、結(jié)構(gòu)、和發(fā)展規(guī)律的科學(xué)。-商務(wù)印書館，《現(xiàn)代漢語詞典》，1996年

自然語言： 人類特有的書面和口頭形式的語言。

自然語言理解(Natural Language Understanding,NLU)： 研究模仿人類語言認知過程的自然語言處理方法和實現(xiàn)技術(shù)的一門學(xué)科。 《計算機科學(xué)技術(shù)百科全書》第三版，P1223，宗成慶，黃昌寧

計算語言學(xué)（Computation Linguistics,CL）： 通過建立形式化的計算模型來分析、理解和生成自然語言的學(xué)科，是人工智能和語言學(xué)的分支學(xué)科。計算語言學(xué)更加側(cè)重基礎(chǔ)理論和方法的研究《計算機科學(xué)技術(shù)百科全書》第三版，2018,5，P476，常寶寶

自然語言處理（Natural Language Processing,NLP）： 自然語言處理是研究如何利用計算機技術(shù)對語言文本（句子、篇章或話語）等進行處理和加工的一門學(xué)科。 《計算機科學(xué)技術(shù)百科全書》第三版，P1223，宗成慶，黃昌寧

人類語言技術(shù)（Human Language Technology,HLT）： 就字面意思理解，研究人類語言的技術(shù)。
上個世紀五十年代，學(xué)術(shù)界對機器翻譯產(chǎn)生了濃厚的興趣；并得到了實業(yè)界的支持。因此國際上出現(xiàn)了研究機器翻譯的熱潮。隨著機器翻譯的發(fā)展，各種自然語言處理技術(shù)應(yīng)運而生；并逐漸發(fā)展壯大，形成了這一語言學(xué)與計算機技術(shù)相結(jié)合的新興學(xué)科。

2.人類語言技術(shù)HLT發(fā)展簡史

1950s: 基于模板的NLP方法
1960-1980s： 基于規(guī)則的方法
1990-2013： 統(tǒng)計NLP方法
2013~： 深度學(xué)習(xí)的方法

3.HLT 研究內(nèi)容

機器翻譯、信息檢索、自動文摘、問答系統(tǒng)、信息過濾、信息抽取、文檔文類、語音識別、說話人識別。有很多研究方向都密切相關(guān)。

4.基本問題和主要困難

基本問題： 形態(tài)學(xué)問題、句法問題、語義問題、語用學(xué)問題、語音學(xué)問題。
主要困難：
大量歧義現(xiàn)象：詞法歧義、詞性歧義、結(jié)構(gòu)歧義、語義歧義、語音歧義（多音字歧義）。
大量未知語言現(xiàn)象：隨著社會生活的發(fā)展，每時每刻都會產(chǎn)生大量的具有新意義的詞匯。

5.基本研究方法

1.理性主義會基于規(guī)則的分析方法建立符號處理系統(tǒng)。
2.經(jīng)驗主義會基于大規(guī)模真實語料（語言真實數(shù)據(jù)）建立計算方法。

總結(jié)

以上是生活随笔為你收集整理的自然语言处理(1)-概述的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。