文 | Yimin_飯煲
編 | 煉丹學徒

如果評選NLP圈的2020年度十大關鍵詞，那么GPT-3（Language Models are Few shot Learners) 一定榜上有名。

GPT-3龐大的參數量，優異的性能至今仍讓圈內圈外人都津津樂道，而OpenAI發布的OpenAI API，更是為自然語言處理技術的大規模可擴展商業應用提供了一個極有前景的方向。不過，作為NLP研究者，我認為GPT-3對前沿研究的最大貢獻是，展現了 Prompt-tuning 技術在通用任務（特別是零樣本和小樣本場景下）上的應用潛力。在GPT-3之前，Prompt-tuning 大多僅被用來探索語言模型中蘊藏的世界知識，而GPT-3之后，Prompt-tuning 就“登堂入室”，被用到了各種類型的NLP任務上（甚至還有多模態任務、代碼分析任務），成為了近兩年來發Paper的一個熱點。不太熟悉 Prompt-tuning 的讀者可以參考CMU最新發布在arxiv上的綜述 （Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing）。

賣萌屋之前也轉載過該論文的中文解析 《Fine-tune之后的NLP新范式：Prompt越來越火，CMU華人博士后出了篇綜述文章》

Prompt-tuning 和GPT-3互相成就，成為了NLP發展歷史中不可忽略的里程碑。基于 Prompt-tuning 讓GPT-3處理各種類型的任務，固然取得了不錯的表現，但仔細想想，GPT-3這樣一個創造了各種奇跡的巨大模型，是否還有 更大的零樣本和小樣本學習能力 尚未挖掘？Prompt-tuning 一定是利用GPT-3的最好方式嗎？Google的研究員們不甘心止步于此，提出了 instruction-tuning ，利用比GPT-3更少的參數量，在25個任務中的19個上顯著超越GPT-3，告訴世界：GPT-3, 還能更強！

論文題目:
Finetuned Language Models Are Zero-Shot Learners

論文鏈接:
https://arxiv.org/abs/2109.01652

方法：FLAN

谷歌的研究員們將自己的方法取名為FLAN (Finetuned LANguage Models are zero-shot Learners)，相比于GPT-3（LANguage Models are zero-shot Learners），區別在于Finetune. FLAN的核心思想是，當面對給定的任務A時，首先將模型在大量的其他不同類型的任務上進行微調, 微調的方式是將任務的指令與數據進行拼接（可以理解為一種Prompt), 隨后給出任務A的指令，直接進行推斷。具體示例可見下圖。

例如，我們的最終目標是推理任務，FLAN首先講語言模型在其他任務上進行微調，包括給定任務指令的翻譯、常識推理、情感分類等。在面對翻譯任務時可以給出指令“請把這句話翻譯成西班牙語”。在面對常識推理任務時可以給出指令“請預測下面可能發生的情況”，而當模型根據這些“指令”完成了微調階段的各種任務后（將指令拼接在微調數據的前面），在面對從未見過的最終需要的自然語言推理任務的指令“這段話能從假設中推導出來嗎？” 時，就能更好地調動出已有的知識回答問題。

在GPT-3等研究Prompt-tuning的工作中，研究者們發現Prompt的質量對模型的性能有著較大的影響，因此產生了Prompt Engineering這一技術，通過選取更好的Prompt**讓模型取得更好的表現。谷歌的研究者們同樣為每一類任務手動設計了10個 不同的指令 。以自然語言推斷任務為例，如下圖所示。

實驗結果

實驗設置

作者們選取了12類共計62個常見的自然語言處理和生成任務開展實驗：

作者們訓練了一個大小為137B的自回歸語言模型（Base LM) 作為基準語言模型。通過簡單的重采樣方法，作者們讓不同大小的數據集在總的微調語料中占比相對平衡。在微調時，對每一個輸入樣本都隨機選取該類任務十條指令中的一條以增加模型的多樣性。為了保證實驗對比的公平性，當評測在某一個任務（例如RTE）上的表現時，所有的同類別數據集（例如：SNLI，WNLI，MNLI...)和一些強相關類別的數據集（例如Paraphrase)將不會在微調階段出現。

作者們使用了T5-11B和GPT-3作為基線模型。對于FLAN方法，作者同時給出了在目標任務上選擇隨機指令(no prompt engineering) 和在目標任務驗證集上最優指令(best dev template)

結果

作者們發現，FLAN這一方法在與指令更相關的任務上表現更好（例如自然語言推斷，問答）, 而在與常識更相關的任務上表現較為普通。

在自然語言推斷任務和問答任務上，FLAN在零樣本場景下就已經超過了小樣本GPT-3的效果，在許多任務上甚至與有監督模型達到了相當的表現。

在大多數常識推理任務上，FLAN相比于GPT-3的表現基本沒有提升。作者們認為主要原因是常識推理任務對指令的依賴較小。大多數常識推理任務可以直接轉化為語言模型的形式，因此僅需要基于簡單的Prompt就已經可以達到很好的表現。在作者們給出的原因之外，筆者認為另一個可能的原因是，其他任務很難提供常識推理所需要的通用世界知識，進行微調反而可能影響原有語言模型中涉及到常識的參數，損害泛化性能。

在翻譯任務上，零樣本場景下的FLAN明顯優于GPT-3，但相比于小樣本GPT-3的表現仍然有差距。

作者們還研究了增加指令微調階段任務的數目對FLAN模型效果的影響。結果表明，隨著指令微調任務數目的增加，模型在各種任務上都能夠取得更好的表現。

作者們同時研究了模型大小對FLAN模型效果的影響，一個有趣的現象是，當模型的大小較小時，指令微調反而會讓模型的表現變差。作者認為的原因時，當模型較小時，在大量的任務上做指令微調會“填滿”模型的容量，損害模型的泛化能力，使得模型在新任務上表現較差。

結語

熟悉NLP相關領域的同行們，也許會認為這篇文章又是一篇“A+B”的工作（A= Prompt-tuning, B= Multi-task Learning).基于Prompt的工作正值大熱的時期（你敢相信九月的第一周就有四篇和Prompt有關的NLP論文掛Arxiv嗎~），而通過在不同種類的微調任務上多任務學習提升性能也并不新穎, 例如早期Microsoft的工作MT-DNN，Facebook的工作MUPPET。

不過，筆者認為，這樣的A+B，或許是未來通用自然語言處理模型的一個可能的解決方案。

首先通過大量的無標記語料訓練千億參數級別的大規模自回歸預訓練模型，第二步，通過設計指令（Instruction Tuning) 的方式讓這樣的模型能夠對理解和生成任務進行微調。在微調的過程中可以采用類似于課程學習的方式，先學習底層的任務（如命名實體識別，序列語義標注），再學習上層的任務（如邏輯推理，問答）；先學習資源豐富的任務（如英語/大數據任務），再學習資源較少的任務（如小語種、少數據任務），并利用適配器(Adapter)保留模型中任務專用的部分。最后，給出指令讓模型面對新數據、新任務進行推理。

這樣通用性更強的工作應該不會太遠，也許資源豐富的大廠們已經在搞了呢~

后臺回復關鍵詞【入群】

加入賣萌屋NLP/IR/Rec與求職討論群

后臺回復關鍵詞【頂會】

獲取ACL、CIKM等各大頂會論文集！

?

[1] Finetuned Language Models Are Zero-Shot Learners
https://arxiv.org/abs/2109.01652

[2] Multi-Task Deep Neural Networks for Natural Language Understanding
https://aclanthology.org/P19-1441/

[3] Muppet: Massive Multi-task Representations with Pre-Finetuning
https://arxiv.org/abs/2101.11038

總結

以上是生活随笔為你收集整理的别再Prompt了！谷歌提出tuning新方法，强力释放GPT-3潜力！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。