編 | iven

感謝提供本期內(nèi)容的 ZenMoore、 jxyxiangyu、付瑤

大家好～ 11月的新聞速報來啦！上個月不知道大家有沒有忙著寫文章，反正小編是這樣的：

好啦，讓我們快來回顧上個月的 AI 大新聞吧！

學(xué)術(shù)進(jìn)展

何愷明 Masked Autoencoders：自監(jiān)督恢復(fù)原圖就行

像 MLM 一樣直接重構(gòu)圖片里的像素，竟然也能 work。這篇文章構(gòu)建了不對稱的自編碼器，用來恢復(fù)圖片中 mask 掉的像素。這樣樸素的想法，在 ViT 盛行的今天，顯得格格不入😂

Yoshua Bengio 一作，長達(dá) 70 頁：為主動學(xué)習(xí)拓展理論

在 NeurIPS 提出生成流網(wǎng)絡(luò)（GFlowNets）之后，Yoshua Bengio 又為我們詳細(xì)闡述了它的數(shù)學(xué)框架和數(shù)學(xué)性質(zhì)。同時，對原始 GFlowNet 的理論進(jìn)行了擴展。

https://arxiv.org/abs/2111.09266

Gradients are Not All You Need

梯度反傳，可以說是過去幾十年中機器學(xué)習(xí)復(fù)興的主角。也正是 PyTorch TensorFlow 等自動微分庫的出現(xiàn)，讓越來越多的人進(jìn)入機器學(xué)習(xí)領(lǐng)域。這篇工作討論了在使用迭代可微系統(tǒng)時出現(xiàn)的一個潛在問題。

當(dāng)通過迭代可微系統(tǒng)計算梯度時，我們需要計算由狀態(tài)轉(zhuǎn)換雅可比行列式的乘積組成的項。如果 Jacobian 的特征值大于 1，則梯度會爆炸。小于 1, 梯度則會消失。針對這個問題，文章給出了分析和解決方法。

https://arxiv.org/abs/2111.05803

ICLR 最高分文章

11 月 12 號，ICLR 出分，最高分文章 Contrastive Label Disambiguation for Partial Label Learning 引起了大家關(guān)注：對比學(xué)習(xí)的方法在部分標(biāo)簽數(shù)據(jù)上學(xué)習(xí)（比如 n 類標(biāo)簽，只使用其中的 m 類數(shù)據(jù)訓(xùn)練）竟能超過全監(jiān)督學(xué)習(xí)。

https://openreview.net/forum?id=EhYjZy6e1gJ

ViT 綜述：引發(fā)原作者感慨

來自聯(lián)想、中科院的團(tuán)隊發(fā)表了 A Survey of Visual Transformers。針對 CV 的分類、目標(biāo)檢測、語義分割三個任務(wù)，回顧了 100+ ViT 模型。引發(fā) ViT 作者本人感慨：這一年的進(jìn)展我都沒想到呢 :P

arxiv.org/abs/2111.06091 https://twitter.com/arankomatsuzaki/status/1463692664814063625

女媧：通用視覺生成模型

MSRA 北大團(tuán)隊發(fā)表了文章 NUWA: Visual Synthesis Pre-training for Neural visUal World creAtion。這個工作設(shè)計了一個 3D Transformer Encoder-Decoder，可以同時處理 3D(video)，2D(image)，1D(text) 的數(shù)據(jù)用于視覺生成任務(wù)。在文字生成圖片任務(wù)上超過了 DALL-E。

arxiv.org/abs/2111.12417

業(yè)界新聞

OpenAI 取消 GPT-3 的等待名單

去年五月發(fā)布的 GPT-3 一直需要申請許可才能訪問。11月18日，OpenAI 終于取消了等待名單機制，所有開發(fā)者都可以直接郵箱登錄，使用 API。

Deepmind 登上 Nature 封面：給數(shù)學(xué)家提供啟發(fā)

這篇文章探索了機器學(xué)習(xí)在識別數(shù)學(xué)結(jié)構(gòu)和模式方面的潛力，并幫助數(shù)學(xué)家找到他們可能從未發(fā)現(xiàn)的發(fā)現(xiàn)——這是第一次證明人工智能可以在純數(shù)學(xué)的前沿提供幫助。這個框架可以快速驗證，兩個量之間的關(guān)系是否值得研究。

https://www.nature.com/articles/d41586-021-03593-1
https://deepmind.com/blog/article/exploring-the-beauty-of-pure-mathematics-in-novel-ways

資源工具

Sebastian Ruder 最新 QA 教程

Sebastian Ruder 在 EMNLP 2021 的最新 tutorial，主題是 Multi-Domain Multilingual Question Answering。這可能是第一個包含“特定領(lǐng)域內(nèi)”和“跨語言” QA 的教程。

教程主頁：
https://github.com/sebastianruder/emnlp2021-multiqa-tutorial

幻燈片地址：
https://tinyurl.com/multi-qa-tutorial

讀論文神器登頂 B 站熱搜：沈向洋博士帶大家讀論文

在線論文閱讀神器 ReadPaper 由沈向洋博士創(chuàng)辦的 IDEA 旗下團(tuán)隊研發(fā)，其收錄了近 2 億篇論文，提供了提取圖表、在線檢索、翻譯、做筆記等功能。頁面中的論文速讀功能中，很有可能會出現(xiàn)一位大佬，通過十個問題帶你速讀論文。

▲readpaper.com

https://www.bilibili.com/video/BV1dg411P7De

八卦趣事

完善的同行評議還有多遠(yuǎn)？

視頻博主 Yannic Kilcher 分析了 NeurIPS 2021 在 Openreview 上多輪打分結(jié)果之間的一致性，發(fā)現(xiàn)除了最優(yōu)秀的很小一部分文章，其他文章在不同審稿人之間的評價幾乎是完全隨機的。

https://youtu.be/DEh1GR0t29k

原創(chuàng)推薦

• 6 年大廠面試官，談?wù)勎覍λ惴◢徝嬖嚨囊恍┛捶ㄕ谇舐毜男』锇橐欢ㄒJ(rèn)真學(xué)習(xí)這篇文章！市面上的面經(jīng)只教人怎樣表現(xiàn)，這篇文章告訴我們，面試到底在考察什么能力，面試官是怎么考慮怎么設(shè)計面試的。

• 11 個好用的科研工具推薦！工作效率提升 max！好多給大家節(jié)省時間的科研小工具！好多痛點能被這篇文章解決：調(diào)整引用格式、公式表格轉(zhuǎn)成 latex、給模型起名字、定制化 arXiv 閱讀工具……

• 吐血整理：論文寫作中注意這些細(xì)節(jié)，能顯著提升成稿質(zhì)量非常具體又實用的論文寫作建議。評論區(qū)網(wǎng)友表示“每天看一遍可以大幅減少被導(dǎo)師罵的概率”。

• Facebook 推出 8 比特優(yōu)化器，兩行代碼拯救你的顯存！也不必研究這個優(yōu)化器是啥原理，點開文章，復(fù)制兩行代碼——顯存立減 75%。咱直接 base 變 large，其他啥都不變，不香嘛～

• 圖靈獎大佬 Lecun 發(fā)表對比學(xué)習(xí)新作，比 SimCLR 更好用！這篇文章為大家分享了 Yann Lecun 等人發(fā)表的《Decouple Contrastive Learning》。這篇文章僅僅對 InfoNCE 的表達(dá)式進(jìn)行了一處修改，就大大緩解了 InfoNCE 對于大 Batch Size 的需求問題，并在不同規(guī)模的評測數(shù)據(jù)集上取得了更好的結(jié)果。

好啦！這個月的總結(jié)就到這里！如果有漏下的，我們評論區(qū)見～

萌屋作者：𝕚𝕧𝕖𝕟

在北大讀研，目前做信息抽取，對低資源、圖網(wǎng)絡(luò)都非常感興趣。希望大家在賣萌屋玩得開心 ヾ(=･ω･=)o

作品推薦

老板讓我用少量樣本 finetune 模型，我還有救嗎？急急急，在線等！

谷歌：CNN 擊敗 Transformer，有望成為預(yù)訓(xùn)練界新霸主！LeCun 卻沉默了...

中文 BERT 上分新技巧，多粒度信息來幫忙

恕我直言，很多小樣本學(xué)習(xí)的工作就是不切實際的

你的 GNN，可能 99% 的參數(shù)都是冗余的

后臺回復(fù)關(guān)鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復(fù)關(guān)鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的11月AI大事件回顾：GPT3开放使用/女娲视觉大模型/AE文艺复兴/...的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。