?作者 | 唐工

寫在篇首

這些趨勢之所以令人興奮，是因為它們可以大大減少為某一特定任務使用機器學習所需的努力，也因為它們使得在更具代表性的數據上訓練模型變得更加容易（盡管絕非微不足道），這些模型更好地反映了不同的亞種群、區域、語言或其他重要的表示維度。

現有的模型通常使用自監督（self-supervised）學習方法進行訓練，其中模型從沒有經過策劃或標記的“原始”數據的觀察中學習，例如 GPT-3 和 GLaM 中使用的語言模型、自監督語音模型 BigSSL 、可視對比學習模型 SimCLR，和多模態對比模型 VATT。

自監督學習允許一個大的語音識別模型（BigSSL 模型），只使用 3% 的標簽訓練數據，就能滿足先前的 Voice Search 自動語音識別（automatic speech recognition，ASR）基準測試準確度。

GLaM 模型：更有效的上下文學習

GLaM（Generalist Language Model）模型，旨在解決訓練大型稠密模型（比如GPT-3）需要大量的計算資源的問題。

大型語言模型（例如，GPT-3）具有許多重要的能力，例如在一系列廣泛的任務中執行少樣本學習（few-shot learning），包括只有很少或根本沒有訓練樣本的閱讀理解和問答。但訓練這些大型模型是極其計算密集的。

GLaM 模型是一簇通用語言模型，由于其稀疏性（sparsity），可以（在計算和能耗方面）有效地進行訓練和提供服務，并且在多個少樣本學習任務上取得了更好的表現。

GLaM 模型使用稀疏激活的 MoE（sparsely activated mixture-of-experts）架構來擴展模型容量，同時與稠密的變體相比，訓練成本大大減少。

...It consumes only 1/3 of the energy used to train GPT-3 and requires half of the computation flops for inference... ...它只消耗 GPT-3訓練所需能耗的1/3，并且只需要一半的浮點運算進行推理...

▲ GLaM 的架構，其中每個輸入標記都被動態地路由到64個專家網絡中的選定的兩個，以進行預測

BigSSL 模型：探索用于自動語音識別的大規模半監督學習的前沿

BigSSL（Large-Scale Semi-Supervised Learning ）模型，發現預訓練（pre-training）、自訓練（self-training）和擴大模型尺寸（scaling up model size）的組合極大地提高了數據效能，即使對于具有數萬小時標記數據的超大型任務也是如此。

SSL + Large Models = Labeled Data Efficiency
半監督學習 + 大型模型 = 標記數據的效能

BigSSL 模型使用 Conformer （convolution-augmented transformer）模型作為其編碼器網絡，Conformer 模型將卷積神經網絡和 Transformer 結合起來，以參數高效（parameter-efficient）的方式對音頻序列的局部和全局依賴關系進行建模。

Transformer models are good at capturing content-based global interactions, while CNNs exploit local features effectively. Transformer 模型擅長捕獲基于內容的全局交互，而 CNN 則有效地利用局部特征。

▲ Conformer 編碼器和 wav2vec 2.0 預訓練。Conformer Block 包含注意力、前饋和卷積模塊。

SimCLR 模型：提高自監督和半監督學習

SimCLR 模型，旨在解決當前圖像數據的自監督（self-supervised）技術沒有被廣泛采用的問題：

• 當前的圖像數據自監督技術過于復雜；

• 需要對架構或訓練過程進行重大修改。

提高計算機視覺任務的性能的范式：在大型的未標記圖像數據集進行預訓練，然后在一個較小的標記數據集微調。這些方法屬于自監督學習的范疇，通過從未標記的數據集創建替代標簽，將非監督式學習問題轉化為受監督的問題。

SimCLR 模型首先通過對比學習（contrastive learning），同時最大化同一圖像的不同變換視圖之間的一致性和最小化不同圖像變換視圖之間的一致性，在未標記的數據集上學習圖像的通用表示法；然后它可以用少量的標記圖像進行微調，以對給定的分類任務達到良好的性能。

▲ SimCLR 框架的一個示例。和 MLP 圖層同時訓練產生的投影對于同一圖像的增強版本是相似的，而對于不同的圖像是不同的，即使這些圖像是同一類的物體。經過訓練的模型不僅能很好地識別同一圖像的不同變換，而且還能學習類似概念的表示（例如，椅子和狗），這些概念后來可以通過微調與標簽聯系起來。

VATT 模型：從原始視頻、音頻和文本的多模態自監督學習 Transformer

VATT （Video-Audio-Text Transformer）模型，用于使用無卷積 Transformer 架構從未標記的數據中學習多模態表示。

VATT 模型使用多模態對比損失（contrastive loss）進行訓練，并通過視頻動作識別、音頻事件分類、圖像分類和文本到視頻檢索等下游任務來評估其性能。

▲ VATT 架構和自監督、多模式學習策略的概述。VATT 將每種模態線性投影到特征向量中，并將其輸入到 Transformer 編碼器中。定義了一個語義層次化的公共空間來解釋不同模態的粒度，并使用噪聲對比估計來訓練模型。?

參考文獻

[2112.06905] GLaM: Efficient Scaling of Language Models with Mixture-of-Experts (arxiv.org):https://arxiv.org/abs/2112.06905

[2109.13226] BigSSL: Exploring the Frontier of Large-Scale Semi-Supervised Learning for Automatic Speech Recognition (arxiv.org):https://arxiv.org/abs/2109.13226

[2002.05709] A Simple Framework for Contrastive Learning of Visual Representations (arxiv.org):https://arxiv.org/abs/2002.05709

[2104.11178] VATT: Transformers for Multimodal Self-Supervised Learning from Raw Video, Audio and Text (arxiv.org):https://arxiv.org/abs/2104.11178

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

📝?稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

📬?投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

🔍

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的自监督学习的发展趋势：事半功倍的模型训练和数据效能的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。