編 | iven

感謝提供本期內容的 ZenMoore、 jxyxiangyu、付瑤

大家好～ 11月的新聞速報來啦！上個月不知道大家有沒有忙著寫文章，反正小編是這樣的：

好啦，讓我們快來回顧上個月的 AI 大新聞吧！

學術進展

何愷明 Masked Autoencoders：自監督恢復原圖就行

像 MLM 一樣直接重構圖片里的像素，竟然也能 work。這篇文章構建了不對稱的自編碼器，用來恢復圖片中 mask 掉的像素。這樣樸素的想法，在 ViT 盛行的今天，顯得格格不入😂

Yoshua Bengio 一作，長達 70 頁：為主動學習拓展理論

在 NeurIPS 提出生成流網絡（GFlowNets）之后，Yoshua Bengio 又為我們詳細闡述了它的數學框架和數學性質。同時，對原始 GFlowNet 的理論進行了擴展。

https://arxiv.org/abs/2111.09266

Gradients are Not All You Need

梯度反傳，可以說是過去幾十年中機器學習復興的主角。也正是 PyTorch TensorFlow 等自動微分庫的出現，讓越來越多的人進入機器學習領域。這篇工作討論了在使用迭代可微系統時出現的一個潛在問題。

當通過迭代可微系統計算梯度時，我們需要計算由狀態轉換雅可比行列式的乘積組成的項。如果 Jacobian 的特征值大于 1，則梯度會爆炸。小于 1, 梯度則會消失。針對這個問題，文章給出了分析和解決方法。

https://arxiv.org/abs/2111.05803

ICLR 最高分文章

11 月 12 號，ICLR 出分，最高分文章 Contrastive Label Disambiguation for Partial Label Learning 引起了大家關注：對比學習的方法在部分標簽數據上學習（比如 n 類標簽，只使用其中的 m 類數據訓練）竟能超過全監督學習。

https://openreview.net/forum?id=EhYjZy6e1gJ

ViT 綜述：引發原作者感慨

來自聯想、中科院的團隊發表了 A Survey of Visual Transformers。針對 CV 的分類、目標檢測、語義分割三個任務，回顧了 100+ ViT 模型。引發 ViT 作者本人感慨：這一年的進展我都沒想到呢 :P

arxiv.org/abs/2111.06091 https://twitter.com/arankomatsuzaki/status/1463692664814063625

女媧：通用視覺生成模型

MSRA 北大團隊發表了文章 NUWA: Visual Synthesis Pre-training for Neural visUal World creAtion。這個工作設計了一個 3D Transformer Encoder-Decoder，可以同時處理 3D(video)，2D(image)，1D(text) 的數據用于視覺生成任務。在文字生成圖片任務上超過了 DALL-E。

arxiv.org/abs/2111.12417

業界新聞

OpenAI 取消 GPT-3 的等待名單

去年五月發布的 GPT-3 一直需要申請許可才能訪問。11月18日，OpenAI 終于取消了等待名單機制，所有開發者都可以直接郵箱登錄，使用 API。

Deepmind 登上 Nature 封面：給數學家提供啟發

這篇文章探索了機器學習在識別數學結構和模式方面的潛力，并幫助數學家找到他們可能從未發現的發現——這是第一次證明人工智能可以在純數學的前沿提供幫助。這個框架可以快速驗證，兩個量之間的關系是否值得研究。

https://www.nature.com/articles/d41586-021-03593-1
https://deepmind.com/blog/article/exploring-the-beauty-of-pure-mathematics-in-novel-ways

資源工具

Sebastian Ruder 最新 QA 教程

Sebastian Ruder 在 EMNLP 2021 的最新 tutorial，主題是 Multi-Domain Multilingual Question Answering。這可能是第一個包含“特定領域內”和“跨語言” QA 的教程。

教程主頁：
https://github.com/sebastianruder/emnlp2021-multiqa-tutorial

幻燈片地址：
https://tinyurl.com/multi-qa-tutorial

讀論文神器登頂 B 站熱搜：沈向洋博士帶大家讀論文

在線論文閱讀神器 ReadPaper 由沈向洋博士創辦的 IDEA 旗下團隊研發，其收錄了近 2 億篇論文，提供了提取圖表、在線檢索、翻譯、做筆記等功能。頁面中的論文速讀功能中，很有可能會出現一位大佬，通過十個問題帶你速讀論文。

▲readpaper.com

https://www.bilibili.com/video/BV1dg411P7De

八卦趣事

完善的同行評議還有多遠？

視頻博主 Yannic Kilcher 分析了 NeurIPS 2021 在 Openreview 上多輪打分結果之間的一致性，發現除了最優秀的很小一部分文章，其他文章在不同審稿人之間的評價幾乎是完全隨機的。

https://youtu.be/DEh1GR0t29k

原創推薦

• 6 年大廠面試官，談談我對算法崗面試的一些看法正在求職的小伙伴一定要認真學習這篇文章！市面上的面經只教人怎樣表現，這篇文章告訴我們，面試到底在考察什么能力，面試官是怎么考慮怎么設計面試的。

• 11 個好用的科研工具推薦！工作效率提升 max！好多給大家節省時間的科研小工具！好多痛點能被這篇文章解決：調整引用格式、公式表格轉成 latex、給模型起名字、定制化 arXiv 閱讀工具……

• 吐血整理：論文寫作中注意這些細節，能顯著提升成稿質量非常具體又實用的論文寫作建議。評論區網友表示“每天看一遍可以大幅減少被導師罵的概率”。

• Facebook 推出 8 比特優化器，兩行代碼拯救你的顯存！也不必研究這個優化器是啥原理，點開文章，復制兩行代碼——顯存立減 75%。咱直接 base 變 large，其他啥都不變，不香嘛～

• 圖靈獎大佬 Lecun 發表對比學習新作，比 SimCLR 更好用！這篇文章為大家分享了 Yann Lecun 等人發表的《Decouple Contrastive Learning》。這篇文章僅僅對 InfoNCE 的表達式進行了一處修改，就大大緩解了 InfoNCE 對于大 Batch Size 的需求問題，并在不同規模的評測數據集上取得了更好的結果。

好啦！這個月的總結就到這里！如果有漏下的，我們評論區見～

萌屋作者：𝕚𝕧𝕖𝕟

在北大讀研，目前做信息抽取，對低資源、圖網絡都非常感興趣。希望大家在賣萌屋玩得開心 ヾ(=･ω･=)o

作品推薦

老板讓我用少量樣本 finetune 模型，我還有救嗎？急急急，在線等！

谷歌：CNN 擊敗 Transformer，有望成為預訓練界新霸主！LeCun 卻沉默了...

中文 BERT 上分新技巧，多粒度信息來幫忙

恕我直言，很多小樣本學習的工作就是不切實際的

你的 GNN，可能 99% 的參數都是冗余的

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的11月AI大事件回顾：GPT3开放使用/女娲视觉大模型/AE文艺复兴/...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。