NLPIR汉语分词系统
生活随笔
收集整理的這篇文章主要介紹了
NLPIR汉语分词系统
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
靈玖軟件:www.lingjoin.com
應各位ICTCLAS用戶的要求,張華平博士正式發布ICTCLAS2013
版本,為了與以前工作進行大的區隔,并推廣NLPIR自然語言處理與信息檢索共享平臺,從本版本開始,系統名稱調整為NLPIR漢語分詞系統。張博士先后傾力打造十余年,內核升級10次,全球用戶突破20萬,先后獲得了2010年錢偉長中文信息處理科學技術獎一等獎,2003年國際SIGHAN分詞大賽綜合第一名,2002年國內973評測綜合第一名
圖1:微博分詞展示
新詞發現與自適應分詞功能:從較長的文本內容中,基于信息交叉熵自動發現新特征語言,并自適應測試語料的語言概率分布模型,實現自適應分詞。
圖2:自動識別“屌絲”等新詞,并自動調整分詞結果,實現自適應分詞
關鍵詞識別功能:采用信息熵自動計算關鍵詞,包括新詞與已知詞,下面是對十八大報告前面部分內容的關鍵詞提取結果。
圖3:十八大報告的關鍵詞識別結果
圖4:NLPIR的前期版本獲得了錢偉長中文信息處理科學技術獎一等獎
我們將持續采用共享模式,為各位提供各類可執行程序、二次開發API等形式的成果,歡迎各位用戶使用并反饋,讓我們做得更好。
轉載于:https://my.oschina.net/u/944980/blog/131023
總結
以上是生活随笔為你收集整理的NLPIR汉语分词系统的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Microsoft® Silverlig
- 下一篇: java 分词搜索_基于JAVA的小型中