「AI Drive」是由 PaperWeekly 和 biendata 共同發(fā)起的學(xué)術(shù)直播間，旨在幫助更多的青年學(xué)者宣傳其最新科研成果。我們一直認(rèn)為，單向地輸出知識(shí)并不是一個(gè)最好的方式，而有效地反饋和交流可能會(huì)讓知識(shí)的傳播更加有意義，從而產(chǎn)生更大的價(jià)值。

本期 AI Drive，我們邀請到吉林大學(xué)計(jì)算機(jī)學(xué)院碩士生夏婷玉，為大家在線解讀其發(fā)表于 WWW 2021 的最新工作：Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks。對本期主題感興趣的小伙伴，5 月 20?日（周四）晚 7 點(diǎn)，我們準(zhǔn)時(shí)相約 PaperWeekly B 站直播間。

直播信息

在文本相似性任務(wù)中，通過探究 BERT 模型本身擁有哪些知識(shí)，分析在 BERT 模型的哪些位置需要哪些知識(shí)。從而進(jìn)一步將現(xiàn)有的先驗(yàn)知識(shí)注入到 BERT 的多頭注意力機(jī)制中，在沒有額外增加新的訓(xùn)練任務(wù)的同時(shí)提升模型的效果。實(shí)驗(yàn)表明，我們的工作可以在不犧牲訓(xùn)練成本的同時(shí)，提高文本語義相似性任務(wù)的分類準(zhǔn)確率，尤其在面對稀疏的訓(xùn)練數(shù)據(jù)時(shí)，效果格外顯著。

論文標(biāo)題：

Using Prior Knowledge to Guide BERT’s Attention in Semantic Textual Matching Tasks

論文鏈接：

https://arxiv.org/abs/2102.10934

代碼鏈接：

https://github.com/xiatingyu/Bert_sim

本次分享的具體內(nèi)容有：?

• BERT模型分析：數(shù)據(jù)增強(qiáng)分析、分層性能分析

• 模型簡介：單詞相似性矩陣、知識(shí)指導(dǎo)的BERT’s Attention結(jié)構(gòu)

• 實(shí)驗(yàn)驗(yàn)證：數(shù)據(jù)集簡介，實(shí)驗(yàn)結(jié)果，進(jìn)一步分析

• 總結(jié)

嘉賓介紹

?夏婷玉?/ 吉林大學(xué)碩士生?

夏婷玉，吉林大學(xué)人工智能學(xué)院研二在讀，導(dǎo)師為常毅教授，研究方向：semantic textual similarity，domin adaptation。

直播地址?& 交流群

本次直播將在 PaperWeekly B 站直播間進(jìn)行，掃描下方海報(bào)二維碼或點(diǎn)擊閱讀原文即可免費(fèi)觀看。線上分享結(jié)束后，嘉賓還將在直播交流群內(nèi)實(shí)時(shí) QA，在 PaperWeekly 微信公眾號(hào)后臺(tái)回復(fù)「AI Drive」，即可獲取入群通道。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

關(guān)于PaperWeekly

PaperWeekly 是一個(gè)推薦、解讀、討論、報(bào)道人工智能前沿論文成果的學(xué)術(shù)平臺(tái)。如果你研究或從事 AI 領(lǐng)域，歡迎在公眾號(hào)后臺(tái)點(diǎn)擊「交流群」，小助手將把你帶入 PaperWeekly 的交流群里。

總結(jié)

以上是生活随笔為你收集整理的直播 | WWW 2021：用先验知识指导BERT注意力机制的语义文本匹配的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。