前言

論文：https://arxiv.org/pdf/1712.02856.pdf  ；

代碼和語料：https://github.com/hankcs/multi-criteria-cws 。

本文參見上面論文及代碼，介紹了一種簡潔優雅的多標準中文分詞方案，可聯合多個不同標準的語料庫訓練單個模型，同時輸出多標準的分詞結果。通過不同語料庫之間的遷移學習提升模型的性能，在10個語料庫上的聯合試驗結果優于絕大部分單獨訓練的模型。模型參數和超參數全部共享，復雜度不隨語料庫種類增長。

自然語言處理，特別是中文處理中，語料庫往往珍稀且珍貴。具體到中文分詞，也是如此。為了做出一個實用的系統，不光需要高效的算法，大規模語料庫也必不可少。然而對于缺乏經費的研究團隊和個人，卻往往只能得到sighan2005等屈指可數的幾個小型語料庫。即便如此，這些語料庫的標注規范還互不兼容?

總結

以上是生活随笔為你收集整理的深度学习核心技术精讲100篇（十七）-多标准中文分词（ Multi-Criteria-CWS）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。