直播 | WWW 2021:用先验知识指导BERT注意力机制的语义文本匹配
「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間,旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為,單向地輸出知識(shí)并不是一個(gè)最好的方式,而有效地反饋和交流可能會(huì)讓知識(shí)的傳播更加有意義,從而產(chǎn)生更大的價(jià)值。
本期 AI Drive,我們邀請到吉林大學(xué)計(jì)算機(jī)學(xué)院碩士生夏婷玉,為大家在線解讀其發(fā)表于 WWW 2021 的最新工作:Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks。對本期主題感興趣的小伙伴,5 月 20?日(周四)晚 7 點(diǎn),我們準(zhǔn)時(shí)相約 PaperWeekly B 站直播間。
直播信息
在文本相似性任務(wù)中,通過探究 BERT 模型本身擁有哪些知識(shí),分析在 BERT 模型的哪些位置需要哪些知識(shí)。從而進(jìn)一步將現(xiàn)有的先驗(yàn)知識(shí)注入到 BERT 的多頭注意力機(jī)制中,在沒有額外增加新的訓(xùn)練任務(wù)的同時(shí)提升模型的效果。實(shí)驗(yàn)表明,我們的工作可以在不犧牲訓(xùn)練成本的同時(shí),提高文本語義相似性任務(wù)的分類準(zhǔn)確率,尤其在面對稀疏的訓(xùn)練數(shù)據(jù)時(shí),效果格外顯著。
論文標(biāo)題:
Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks
論文鏈接:
https://arxiv.org/abs/2102.10934
代碼鏈接:
https://github.com/xiatingyu/Bert_sim
本次分享的具體內(nèi)容有:?
BERT模型分析:數(shù)據(jù)增強(qiáng)分析、分層性能分析
模型簡介:單詞相似性矩陣、知識(shí)指導(dǎo)的BERT’s Attention結(jié)構(gòu)
實(shí)驗(yàn)驗(yàn)證:數(shù)據(jù)集簡介,實(shí)驗(yàn)結(jié)果,進(jìn)一步分析
總結(jié)
嘉賓介紹
?夏婷玉?/ 吉林大學(xué)碩士生?
夏婷玉,吉林大學(xué)人工智能學(xué)院研二在讀,導(dǎo)師為常毅教授,研究方向:semantic textual similarity,domin adaptation。
直播地址?& 交流群
本次直播將在 PaperWeekly B 站直播間進(jìn)行,掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后,嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA,在 PaperWeekly 微信公眾號(hào)后臺(tái)回復(fù)「AI Drive」,即可獲取入群通道。
B 站直播間:
https://live.bilibili.com/14884511
合作伙伴
????
現(xiàn)在,在「知乎」也能找到我們了
進(jìn)入知乎首頁搜索「PaperWeekly」
點(diǎn)擊「關(guān)注」訂閱我們的專欄吧
關(guān)于PaperWeekly
PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域,歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」,小助手將把你帶入 PaperWeekly 的交流群里。
總結(jié)
以上是生活随笔為你收集整理的直播 | WWW 2021:用先验知识指导BERT注意力机制的语义文本匹配的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 银联卡跨行取款收费吗
- 下一篇: 边界化难题终结者!将自监督学习应用到自动