用训练好的paddlepaddle模型继续训练模型和验证数据ckpt
生活随笔
收集整理的這篇文章主要介紹了
用训练好的paddlepaddle模型继续训练模型和验证数据ckpt
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
# 模型加載
model = hub.Module(name='ernie', task='seq-cls', num_classes=14)
tokenizer = model.get_tokenizer()# 實(shí)例化數(shù)據(jù)集
train_dataset = ThuNews(tokenizer, mode='train')
dev_dataset = ThuNews(tokenizer, mode='dev')# 模型訓(xùn)練
optimizer = paddle.optimizer.Adam(learning_rate=5e-5, parameters=model.parameters())
trainer = hub.Trainer(model, optimizer, checkpoint_dir='ckpt', use_gpu=False)
trainer.train(train_dataset, epochs=3, batch_size=32, eval_dataset=dev_dataset, save_interval=1)# 預(yù)測
data = [# 房產(chǎn)["昌平京基鷺府10月29日推別墅1200萬套起享97折 新浪房產(chǎn)訊(編輯郭彪)京基鷺府(論壇相冊戶型樣板間點(diǎn)評地圖搜索)售樓處位于昌平區(qū)京承高速北七家出口向西南公里路南。項(xiàng)目預(yù)計(jì)10月29日開盤,總價(jià)1200萬元/套起,2012年年底入住。待售戶型為聯(lián)排戶型面積為410-522平方米,獨(dú)棟戶型面積為938平方米,雙拼戶型面積為522平方米。 京基鷺府項(xiàng)目位于昌平定泗路與東北路交界處。項(xiàng)目周邊配套齊全,幼兒園:伊頓雙語幼兒園、溫莎雙語幼兒園;中學(xué):北師大亞太實(shí)驗(yàn)學(xué)校、潞河中學(xué)(北京市重點(diǎn));大學(xué):王府語言學(xué)校、北京郵電大學(xué)、現(xiàn)代音樂學(xué)院;醫(yī)院:王府中西醫(yī)結(jié)合醫(yī)院(三級甲等)、潞河醫(yī)院、解放軍263醫(yī)院、安貞醫(yī)院昌平分院;購物:龍德廣場、中聯(lián)萬家商廈、世紀(jì)華聯(lián)超市、瑰寶購物中心、家樂福超市;酒店:拉斐特城堡、鮑魚島;休閑娛樂設(shè)施:九華山莊、溫都溫泉度假村、小湯山療養(yǎng)院、龍脈溫泉度假村、小湯山文化廣場、皇港高爾夫、高地高爾夫、北鴻高爾夫球場;銀行:工商銀行、建設(shè)銀行、中國銀行、北京農(nóng)村商業(yè)銀行;郵局:中國郵政儲蓄;其它:北七家建材城、百安居建材超市、北七家鎮(zhèn)武裝部、北京宏翔鴻企業(yè)孵化基地等,享受便捷生活。"],# 游戲["盡管官方到今天也沒有公布《使命召喚:現(xiàn)代戰(zhàn)爭2》的游戲詳情,但《使命召喚:現(xiàn)代戰(zhàn)爭2》首部包含游戲畫面的影片終于現(xiàn)身。雖然影片僅有短短不到20秒,但影片最后承諾大家將于美國時(shí)間5月24日NBA職業(yè)籃球東區(qū)決賽時(shí)將會揭露更多的游戲內(nèi)容?! ∵@部只有18秒的廣告片閃現(xiàn)了9個(gè)鏡頭,能夠辨識的場景有直升機(jī)飛向海島軍事工事,有飛機(jī)場爭奪戰(zhàn),有潛艇和水下工兵,有冰上乘具,以及其他的一些鏡頭。整體來看《現(xiàn)代戰(zhàn)爭2》很大可能仍舊與俄羅斯有關(guān)?! ∑灿幸粍t預(yù)告:“May24th,EasternConferenceFinals”,這是什么?這是說當(dāng)前美國NBA聯(lián)賽東部總決賽的日期。原來這部視頻是NBA季后賽奧蘭多魔術(shù)對波士頓凱爾特人隊(duì)時(shí),TNT電視臺播放的廣告。"],# 體育["羅馬鋒王竟公然挑戰(zhàn)兩大旗幟拉涅利的球隊(duì)到底錯(cuò)在哪 記者張愷報(bào)道主場一球小勝副班長巴里無可吹捧,羅馬占優(yōu)也純屬正常,倒是托蒂罰失點(diǎn)球和前兩號門將先后受傷(多尼以三號身份出場)更讓人揪心。陣容規(guī)模擴(kuò)大,反而表現(xiàn)不如上賽季,缺乏一流強(qiáng)隊(duì)的色彩,這是所有球迷對羅馬的印象?! ±f:“去年我們帶著嫉妒之心看國米,今年我們也有了和國米同等的超級陣容,許多教練都想有羅馬的球員。陣容廣了,尋找隊(duì)內(nèi)平衡就難了,某些時(shí)段球員的互相排斥和跟從前相比的落差都正常。有好的一面,也有不好的一面,所幸,我們一直在說一支偉大的羅馬,必勝的信念和夠級別的陣容,我們有了?!崩目偨Y(jié)由近一階段困擾羅馬的隊(duì)內(nèi)摩擦、個(gè)別球員鬧意見要走人而發(fā),本賽季技術(shù)層面強(qiáng)化的羅馬一直沒有上賽季反撲的面貌,內(nèi)部變化值得球迷關(guān)注。"],# 教育["新總督致力提高加拿大公立教育質(zhì)量 滑鐵盧大學(xué)校長約翰斯頓先生于10月1日擔(dān)任加拿大總督職務(wù)。約翰斯頓先生還曾任麥吉爾大學(xué)長,并曾在多倫多大學(xué)、女王大學(xué)和西安大略大學(xué)擔(dān)任教學(xué)職位。 約翰斯頓先生在就職演說中表示,要將加拿大建設(shè)成為一個(gè)“聰明與關(guān)愛的國度”。為實(shí)現(xiàn)這一目標(biāo),他提出三個(gè)支柱:支持并關(guān)愛家庭、兒童;鼓勵學(xué)習(xí)與創(chuàng)造;提倡慈善和志愿者精神。他尤其強(qiáng)調(diào)要關(guān)愛并尊重教師,并通過公立教育使每個(gè)人的才智得到充分發(fā)展。"]
]label_list=['體育', '科技', '社會', '娛樂', '股票', '房產(chǎn)', '教育', '時(shí)政', '財(cái)經(jīng)', '星座', '游戲', '家居', '彩票', '時(shí)尚']
label_map = { idx: label_text for idx, label_text in enumerate(label_list)
}model = hub.Module(name='ernie',task='seq-cls',load_checkpoint='./ckpt/best_model/model.pdparams',label_map=label_map)
results = model.predict(data, max_seq_len=128, batch_size=1, use_gpu=True)
for idx, text in enumerate(data):print('Data: {} \t Lable: {}'.format(text[0], results[idx]))
提示:已經(jīng)將模型保存在ckpt文件夾下,否則需要自己訓(xùn)練一個(gè)新的模型
總結(jié)
以上是生活随笔為你收集整理的用训练好的paddlepaddle模型继续训练模型和验证数据ckpt的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 一文详解深度学习在命名实体识别(NER)
- 下一篇: 征文通知 | 2018年全国知识图谱与语