5-2. 利用漢語切分和標(biāo)注語料（注意版權(quán)的合法性），嘗試用bi-gram 實(shí)現(xiàn)一個(gè)簡(jiǎn)單的漢語自動(dòng)分詞程序。

#------------------------------------------------------------------------------- # Name: n_gram切分中文 # Purpose: 自然語言處理第5章作業(yè) # 水平有限，僅做參考 # Author: nkenen # # Created: 22/02/2020 # Copyright: (c) Administrator 2020 # Licence: <your licence> #------------------------------------------------------------------------------- import resymbol = ',.!?。，？！0123456789qwertyuiopasdfghjklzxcvbnmQWERTYUIOPASDFGHJKLZXCVBNM'#本程序并不是有用的只是將已標(biāo)注好的1998語料庫(kù)給轉(zhuǎn)變成無標(biāo)注的 def Makenomarkedcorpus():file = open('F:/自然語言處理/1980pd.txt','w',encoding='utf-8')filer = open('F:/自然語言處理/199801_people_s_daily.txt','r',encoding='utf-8',errors='ignore')for line in filer:str = ''flag = 0i=0

總結(jié)

以上是生活随笔為你收集整理的宗成庆《自然语言理解》第5章作业的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。