編譯原理實驗二：Python實現中文分詞–正向最大匹配和逆向最大匹配
最大匹配法：最大匹配是指以詞典為依據，取詞典中最長單詞為第一個次取字數量的掃描串，在詞典中進行掃描（為提升掃描效率，還可以跟據字數多少設計多個字典，然后根據字數分別從不同字典中進行掃描）。

文檔整理如下：

最大正向匹配代碼如下：

# -*- coding: utf-8 -*- """ Created on Fri Feb 21 16:25:22 2020@author: lenovo """import numpy as np#處理詞典庫獲得列表 def get_dic():f=open("F:/學習文件/編譯原理/實驗二/詞典文檔.txt",'r')file_open=f.read().split()#按照空格處理文件f.close()chars=list(set(file_open))#去重之后獲得列表return chars dic=get_dic()def readfile():max_length=0for i in dic:max_length=max(max_length,len(i))##獲得最大長度zz=max_lengthf=open("F:/學習文件/編譯原理/實驗二/測試文檔.txt",'r')ff=open("F:/學習文件/編譯原理/實驗二/生成文檔.txt",'w')lines=f.readlines()f.close()for line in lines:#分別對每一行進行正向最大匹配處理max_length=zzmy_list=[]len_hang=len(line)while len_hang>0:tryW=line[0:max_length]##切割字符串while tryW not in dic:if len(tryW)==1:#長度為1的時候就直接退出break;tryW=tryW[0:len(tryW)-1]my_list.append(tryW)line=line[len(tryW):]len_hang=len(line)for i in my_list:ff.write(i+" ")ff.close() readfile()

結果如下：

逆向最大匹配代碼如下：

# -*- coding: utf-8 -*- """ Created on Fri Feb 21 19:04:54 2020@author: lenovo """import numpy as np#處理詞典庫獲得列表 def get_dic():f=open("F:/學習文件/編譯原理/實驗二/詞典文檔.txt",'r')file_open=f.read().split()f.close()chars=list(set(file_open))return chars dic=get_dic()def readfile():max_length=0for i in dic:max_length=max(max_length,len(i))##獲得最大長度zz=max_lengthf=open("F:/學習文件/編譯原理/實驗二/測試文檔.txt",'r')ff=open("F:/學習文件/編譯原理/實驗二/生成文檔逆向最大匹配.txt",'w')lines=f.readlines()f.close()for line in lines:#分別對每一行進行逆向最大匹配處理max_length=zzmy_list=[]len_hang=len(line)while len_hang>0:tryW=line[max(0,len_hang-max_length):len_hang]#防止溢出while tryW not in dic:if len(tryW)==1:break;tryW=tryW[1:len(tryW)]#這里注意，一直是從1開始的my_list.append(tryW)line=line[0:len_hang-len(tryW)]len_hang=len(line)while len(my_list):tt=my_list.pop()#這里類似棧的操作ff.write(tt+" ")ff.close() readfile()##012345

結果如下：

逆向需要考慮一些下標的變化，防止溢出。
努力加油a啊，(^o)/~

總結

以上是生活随笔為你收集整理的Python实现中文分词--正向最大匹配和逆向最大匹配的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。