?PaperWeekly 原創 ·?作者?|?王馨月

學校?|?四川大學本科生

研究方向?|?自然語言處理

概要

本文針對自然語言處理的新范式——我們稱之為“prompt-based 學習”，進行了綜述與組織。

論文標題：

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

論文作者：

Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig

論文鏈接：

https://arxiv.org/abs/2107.13586

區別于傳統的監督學習中訓練模型接受輸入 x 并將輸出 y 預測為 P(y|x)，Prompt-based 學習基于直接對文本概率進行建模的語言模型。為了使用這些模型執行預測任務，使用模板將原始輸入 x 修改為具有一些未填充槽的文本字符串 prompt ?x'，然后使用語言模型對未填充信息進行概率填充以獲得最終字符串 x ，從中可以導出最終輸出 y。

這個框架強大且有吸引力的原因有很多：它允許語言模型在大量原始文本上進行預訓練，并且通過定義一個新的 prompting 函數，模型能夠執行少樣本甚至零樣本學習，可以適應很少或沒有標記數據的新場景。

在本文中，我們介紹了這種有發展前途的范式的基礎知識，描述了一組統一的數學符號，可以涵蓋現有的很多工作；并沿多個維度組織現有工作，例如預訓練模型的選擇、prompt 和調整策略。為了讓感興趣的初學者更容易接觸到該領域，我們不僅對現有工作以及基于 prompt 的概念的高度結構化類型進行了系統綜述和，還發布了其他資源，在這個網站中包含了持續更新的綜述以及論文列表：

http://pretrain.nlpedia.ai/?

引言

NLP 的兩次巨變

第一次巨變是“pre-train and fine-tune” 范式，第二次巨變則是目前的 “pre-train, prompt, and predict”。如圖，是 NLP 中的四種范式。

Prompting 的正式描述

在傳統的 NLP 監督學習系統中，我們采用輸入 x（通常是文本），并基于模型??預測輸出 y。y 可以是標簽、文本或其他各種輸出。為了學習這個模型的參數?，我們使用一個包含輸入和輸出對的數據集，并訓練一個模型來預測這個條件概率。

監督學習的主要問題是，為了訓練模型?，必須有任務的監督數據，而對于許多任務來說，這些數據是無法大量獲取的。Prompt-based 學習方法試圖通過學習一個語言模型（LM）來規避這個問題，該 LM 對文本 x 本身的概率??進行建模，并使用該概率來預測 y，從而減少或消除了對于大型監督數據集的需求。

在本節中，我們對最基本的提示形式進行了數學描述，其中包含許多有關 prompt 的工作，并且可以擴展以涵蓋其他內容。具體來說，基本 prompt 分三步預測得分最高的?。分別為：

• prompt 添加：通過??將輸入文本轉化為一個 prompt

• 回答搜索：找到能將 LM 分數最大化的得分最高的文本?

• 回答mapping：通過得分最高的回答?，得到得分最高的輸出?

如圖所示，是 Prompt 方法的一些術語和符號表示。

Prompting 設計過程中的注意事項

有了基本的數學公式后，還需要了解一些基本設計注意事項：

• 預訓練模型選擇：有多種預訓練 LM 可用于計算?。對于 Prompt 方法在效用維度存在差異。

• Prompt 工程：鑒于 prompt 指定了任務，選擇合適的 prompt 不僅對準確性有很大影響，而且對模型首先執行的任務也有很大影響；

• 回答工程：根據任務的不同，我們可能希望設計不同的 Z，可能與映射函數一起設計；

• 擴展范式：如上所述，上述等式僅代表已被提議用于執行此類 prompt 的各種基礎框架中最簡單的。還有一些擴展這種基本范式以進一步提高結果或適用性的方法；

• 基于 prompt 的訓練策略：有訓練參數的方法，包括 prompt 和 LM。

Prompt 方法分類

Prompt 方法分類

總結

在本文中，作者總結并分析了統計自然語言處理技術發展中的幾個范式，并認為 Prompt-based 學習是一種很有前途的新范式，它可能代表著我們看待 NLP 方式的另一個重大變化。?

作者在原文中列出了詳細的表格、實例甚至 timeline 以幫助讀者更加直觀地了解這一新范式，非常值得閱讀原文。

特別鳴謝

感謝 TCCI 天橋腦科學研究院對于 PaperWeekly 的支持。TCCI 關注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優質內容以更短路徑到達讀者群體，縮短讀者尋找優質內容的成本呢？答案就是：你不認識的人。

總有一些你不認識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學者和學術靈感相互碰撞，迸發出更多的可能性。?

PaperWeekly 鼓勵高校實驗室或個人，在我們的平臺上分享各類優質內容，可以是最新論文解讀，也可以是學術熱點剖析、科研心得或競賽經驗講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創作品，未曾在公開渠道發表，如為其他平臺已發表或待發表的文章，請明確標注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發送，要求圖片清晰，無版權問題

? PaperWeekly 尊重原作者署名權，并將為每篇被采納的原創首發稿件，提供業內具有競爭力稿酬，具體依據文章閱讀量和文章質量階梯制結算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯系方式（微信），以便我們在稿件選用的第一時間聯系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現在，在「知乎」也能找到我們了

進入知乎首頁搜索「PaperWeekly」

點擊「關注」訂閱我們的專欄吧

·

總結

以上是生活随笔為你收集整理的CMU预训练模型最新综述：自然语言处理新范式—预训练、Prompt和预测的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。