「AI Drive」是由 PaperWeekly 和 biendata 共同發起的學術直播間，旨在幫助更多的青年學者宣傳其最新科研成果。我們一直認為，單向地輸出知識并不是一個最好的方式，而有效地反饋和交流可能會讓知識的傳播更加有意義，從而產生更大的價值。

本期 AI Drive，我們邀請到北京大學計算語言所碩士生許潤昕，為大家在線解讀其發表在 AAAI 2022 的最新研究成果：From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression。對本期主題感興趣的小伙伴，1 月 20 日（本周四）晚 7 點，我們準時相約 PaperWeekly 直播間。

直播信息

近年來，預訓練語言模型迅速發展，模型參數量也不斷增加。為了提高模型效率，各種各樣的模型壓縮方法被提出，其中就包括模型剪枝。然而，現有的模型剪枝方法大多只聚焦于保留任務相關知識，而忽略了任務無關的通用知識的保留。對此，我們提出了一種基于對比學習的新的剪枝框架，適用于各種結構化剪枝與非結構化剪枝方法，在各種壓縮比下都提升了壓縮后模型的表現。

論文標題：

From Dense to Sparse: Contrastive Pruning for Better Pre-trained Language Model Compression

論文鏈接：

https://arxiv.org/abs/2112.07198

本次分享的具體內容有：?

• 預訓練語言模型發展與模型壓縮

• 模型剪枝壓縮中存在的問題

• 基于對比學習的預訓練語言模型剪枝壓縮

• 實驗分析與結論

嘉賓介紹

?許潤昕?/ 北京大學計算語言所碩士生?

許潤昕，北京大學計算語言所二年級碩士生，導師為常寶寶老師。主要研究興趣為自然語言處理中的關系抽取，事件抽取，以及預訓練模型的應用與加速等方向。在ACL、EMNLP、AAAI、CIKM等國際會議上發表論文。

直播地址?& 交流群

本次直播將在 PaperWeekly 視頻號和 B 站直播間進行，掃描下方海報二維碼或點擊閱讀原文即可免費觀看。線上分享結束后，嘉賓還將在直播交流群內實時 QA，在 PaperWeekly 微信公眾號后臺回復「AI Drive」，即可獲取入群通道。

視頻號直播間：

掃描下方二維碼關注 PaperWeekly 視頻號，第一時間獲取開播提醒。

B 站直播間：

https://live.bilibili.com/14884511

合作伙伴

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的直播预告 | AAAI 2022论文解读：基于对比学习的预训练语言模型剪枝压缩的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。