一、問題

中文文本糾錯任務，常見錯誤類型包括：

• 諧音字詞，如 配副眼睛-配副眼鏡
• 混淆音字詞，如 流浪織女-牛郎織女
• 字詞順序顛倒，如 伍迪艾倫-艾倫伍迪
• 字詞補全，如 愛有天意-假如愛有天意
• 形似字錯誤，如 高梁-高粱
• 中文拼音全拼，如 xingfu-幸福
• 中文拼音縮寫，如 sz-深圳
• 語法錯誤，如 想象難以-難以想象

當然，針對不同業務場景，這些問題并不一定全部存在。

比如

1、輸入法中需要處理前四種，

2、搜索引擎需要處理所有類型，

3、語音識別后文本糾錯只需要處理前兩種，

4、其中'形似字錯誤'主要針對五筆或者筆畫手寫輸入等。

二、解決思路

1、規則的解決思路

中文糾錯分為兩步走，第一步是錯誤檢測，第二步是錯誤糾正；

錯誤檢測部分先通過結巴中文分詞器切詞，由于句子中含有錯別字，所以切詞結果往往會有切分錯誤的情況，這樣從字粒度和詞粒度兩方面檢測錯誤， 整合這兩種粒度的疑似錯誤結果，形成疑似錯誤位置候選集；

錯誤糾正部分，是遍歷所有的疑似錯誤位置，并使用音似、形似詞典替換錯誤位置的詞，然后通過語言模型計算句子困惑度，對所有候選集結果比較并排序，得到最優糾正詞。

2、深度模型的解決思路

端到端的深度模型可以避免人工提取特征，減少人工工作量，RNN序列模型對文本任務擬合能力強，rnn_attention在英文文本糾錯比賽中取得第一名成績，證明應用效果不錯；

CRF會計算全局最優輸出節點的條件概率，對句子中特定錯誤類型的檢測，會根據整句話判定該錯誤，阿里參賽2016中文語法糾錯任務并取得第一名，證明應用效果不錯；

seq2seq模型是使用encoder-decoder結構解決序列轉換問題，目前在序列轉換任務中（如機器翻譯、對話生成、文本摘要、圖像描述）使用最廣泛、效果最好的模型之一

?

三、模型

• kenlm：kenlm統計語言模型工具
• rnn_attention模型：參考Stanford University的nlc模型，該模型是參加2014英文文本糾錯比賽并取得第一名的方法
• rnn_crf模型：參考阿里巴巴2016參賽中文語法糾錯比賽CGED2018并取得第一名的方法(整理中)
• seq2seq_attention模型：在seq2seq模型加上attention機制，對于長文本效果更好，模型更容易收斂，但容易過擬合
• transformer模型：全attention的結構代替了lstm用于解決sequence to sequence問題，語義特征提取效果更好
• bert模型：中文fine-tuned模型，使用MASK特征糾正錯字
• conv_seq2seq模型：基于Facebook出品的fairseq，北京語言大學團隊改進ConvS2S模型用于中文糾錯，在NLPCC-2018的中文語法糾錯比賽中，是唯一使用單模型并取得第三名的成績

總結

以上是生活随笔為你收集整理的文本纠错的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。