hanlp 训练模型_LTP 4.0!单模型完成6项自然语言处理任务
語(yǔ)言技術(shù)平臺(tái)(Language Technology Platform, LTP)是哈工大社會(huì)計(jì)算與信息檢索研究中心(HIT-SCIR)歷時(shí)多年研發(fā)的一整套高效、高精度的中文自然語(yǔ)言處理開源基礎(chǔ)技術(shù)平臺(tái)。該平臺(tái)集詞法分析(分詞、詞性標(biāo)注、命名實(shí)體識(shí)別)、句法分析(依存句法分析)和語(yǔ)義分析(語(yǔ)義角色標(biāo)注、語(yǔ)義依存分析)等多項(xiàng)自然語(yǔ)言處理技術(shù)于一體。其中句法分析、語(yǔ)義分析等多項(xiàng)關(guān)鍵技術(shù)多次在CoNLL國(guó)際評(píng)測(cè)中獲得了第1名。此外,平臺(tái)還榮獲了2010年中國(guó)中文信息學(xué)會(huì)科學(xué)技術(shù)一等獎(jiǎng)、2016年黑龍江省科技進(jìn)步一等獎(jiǎng)。國(guó)內(nèi)外眾多研究單位和知名企業(yè)通過簽署協(xié)議以及收費(fèi)授權(quán)的方式使用該平臺(tái)。
哈工大SCIR本科生馮云龍等同學(xué)在車萬(wàn)翔教授指導(dǎo)下,于近日對(duì)LTP進(jìn)行了新一輪的全面升級(jí),并推出了LTP 4.0版本。此次升級(jí)的主要改進(jìn)為:
- 基于多任務(wù)學(xué)習(xí)框架進(jìn)行統(tǒng)一學(xué)習(xí),使得全部六項(xiàng)任務(wù)可以共享語(yǔ)義信息,達(dá)到了知識(shí)遷移的效果。既有效提升了系統(tǒng)的運(yùn)行效率,又極大縮小了模型的占用空間
- 基于預(yù)訓(xùn)練模型進(jìn)行統(tǒng)一的表示 ,有效提升了各項(xiàng)任務(wù)的準(zhǔn)確率
- 基于教師退火模型蒸餾出單一的多任務(wù)模型,進(jìn)一步提高了系統(tǒng)的準(zhǔn)確率
- 基于PyTorch框架開發(fā),提供了原生的Python調(diào)用接口,通過pip包管理系統(tǒng)一鍵安裝,極大提高了系統(tǒng)的易用性
下表列出了新舊版LTP在精度、效率和模型大小方面的對(duì)比:
為了模型的小巧易用,本次發(fā)布的版本基于哈工大訊飛聯(lián)合實(shí)驗(yàn)室發(fā)布的中文ELECTRA Small預(yù)訓(xùn)練模型。后續(xù)將陸續(xù)發(fā)布基于不同預(yù)訓(xùn)練模型的版本,從而為用戶提供更多準(zhǔn)確率和效率平衡點(diǎn)的選擇。測(cè)試環(huán)境如下:
- Python 3.7
- LTP 4.0 Batch Size = 1
- CentOS 3.10.0-1062.9.1.el7.x86_64
- Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz
歡迎訪問http://ltp.ai/
http://ltp.ai/?ltp.ai獲取平臺(tái)的源代碼、模型及更詳細(xì)的介紹信息,敬請(qǐng)?zhí)岢龇答佉庖姟?/p>
本期責(zé)任編輯:張偉男
本期編輯:賴勇魁
總結(jié)
以上是生活随笔為你收集整理的hanlp 训练模型_LTP 4.0!单模型完成6项自然语言处理任务的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 解析xml_Mybatis中mapper
- 下一篇: docker镜像创建与优化