?PaperWeekly 原創(chuàng) ·?作者?|?王馨月

學(xué)校?|?四川大學(xué)本科生

研究方向?|?自然語言處理

概要

本文針對自然語言處理的新范式——我們稱之為“prompt-based 學(xué)習(xí)”，進(jìn)行了綜述與組織。

論文標(biāo)題：

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing

論文作者：

Pengfei Liu, Weizhe Yuan, Jinlan Fu, Zhengbao Jiang, Hiroaki Hayashi, Graham Neubig

論文鏈接：

https://arxiv.org/abs/2107.13586

區(qū)別于傳統(tǒng)的監(jiān)督學(xué)習(xí)中訓(xùn)練模型接受輸入 x 并將輸出 y 預(yù)測為 P(y|x)，Prompt-based 學(xué)習(xí)基于直接對文本概率進(jìn)行建模的語言模型。為了使用這些模型執(zhí)行預(yù)測任務(wù)，使用模板將原始輸入 x 修改為具有一些未填充槽的文本字符串 prompt ?x'，然后使用語言模型對未填充信息進(jìn)行概率填充以獲得最終字符串 x ，從中可以導(dǎo)出最終輸出 y。

這個框架強(qiáng)大且有吸引力的原因有很多：它允許語言模型在大量原始文本上進(jìn)行預(yù)訓(xùn)練，并且通過定義一個新的 prompting 函數(shù)，模型能夠執(zhí)行少樣本甚至零樣本學(xué)習(xí)，可以適應(yīng)很少或沒有標(biāo)記數(shù)據(jù)的新場景。

在本文中，我們介紹了這種有發(fā)展前途的范式的基礎(chǔ)知識，描述了一組統(tǒng)一的數(shù)學(xué)符號，可以涵蓋現(xiàn)有的很多工作；并沿多個維度組織現(xiàn)有工作，例如預(yù)訓(xùn)練模型的選擇、prompt 和調(diào)整策略。為了讓感興趣的初學(xué)者更容易接觸到該領(lǐng)域，我們不僅對現(xiàn)有工作以及基于 prompt 的概念的高度結(jié)構(gòu)化類型進(jìn)行了系統(tǒng)綜述和，還發(fā)布了其他資源，在這個網(wǎng)站中包含了持續(xù)更新的綜述以及論文列表：

http://pretrain.nlpedia.ai/?

引言

NLP 的兩次巨變

第一次巨變是“pre-train and fine-tune” 范式，第二次巨變則是目前的 “pre-train, prompt, and predict”。如圖，是 NLP 中的四種范式。

Prompting 的正式描述

在傳統(tǒng)的 NLP 監(jiān)督學(xué)習(xí)系統(tǒng)中，我們采用輸入 x（通常是文本），并基于模型??預(yù)測輸出 y。y 可以是標(biāo)簽、文本或其他各種輸出。為了學(xué)習(xí)這個模型的參數(shù)?，我們使用一個包含輸入和輸出對的數(shù)據(jù)集，并訓(xùn)練一個模型來預(yù)測這個條件概率。

監(jiān)督學(xué)習(xí)的主要問題是，為了訓(xùn)練模型?，必須有任務(wù)的監(jiān)督數(shù)據(jù)，而對于許多任務(wù)來說，這些數(shù)據(jù)是無法大量獲取的。Prompt-based 學(xué)習(xí)方法試圖通過學(xué)習(xí)一個語言模型（LM）來規(guī)避這個問題，該 LM 對文本 x 本身的概率??進(jìn)行建模，并使用該概率來預(yù)測 y，從而減少或消除了對于大型監(jiān)督數(shù)據(jù)集的需求。

在本節(jié)中，我們對最基本的提示形式進(jìn)行了數(shù)學(xué)描述，其中包含許多有關(guān) prompt 的工作，并且可以擴(kuò)展以涵蓋其他內(nèi)容。具體來說，基本 prompt 分三步預(yù)測得分最高的?。分別為：

• prompt 添加：通過??將輸入文本轉(zhuǎn)化為一個 prompt

• 回答搜索：找到能將 LM 分?jǐn)?shù)最大化的得分最高的文本?

• 回答mapping：通過得分最高的回答?，得到得分最高的輸出?

如圖所示，是 Prompt 方法的一些術(shù)語和符號表示。

Prompting 設(shè)計(jì)過程中的注意事項(xiàng)

有了基本的數(shù)學(xué)公式后，還需要了解一些基本設(shè)計(jì)注意事項(xiàng)：

• 預(yù)訓(xùn)練模型選擇：有多種預(yù)訓(xùn)練 LM 可用于計(jì)算?。對于 Prompt 方法在效用維度存在差異。

• Prompt 工程：鑒于 prompt 指定了任務(wù)，選擇合適的 prompt 不僅對準(zhǔn)確性有很大影響，而且對模型首先執(zhí)行的任務(wù)也有很大影響；

• 回答工程：根據(jù)任務(wù)的不同，我們可能希望設(shè)計(jì)不同的 Z，可能與映射函數(shù)一起設(shè)計(jì)；

• 擴(kuò)展范式：如上所述，上述等式僅代表已被提議用于執(zhí)行此類 prompt 的各種基礎(chǔ)框架中最簡單的。還有一些擴(kuò)展這種基本范式以進(jìn)一步提高結(jié)果或適用性的方法；

• 基于 prompt 的訓(xùn)練策略：有訓(xùn)練參數(shù)的方法，包括 prompt 和 LM。

Prompt 方法分類

Prompt 方法分類

總結(jié)

在本文中，作者總結(jié)并分析了統(tǒng)計(jì)自然語言處理技術(shù)發(fā)展中的幾個范式，并認(rèn)為 Prompt-based 學(xué)習(xí)是一種很有前途的新范式，它可能代表著我們看待 NLP 方式的另一個重大變化。?

作者在原文中列出了詳細(xì)的表格、實(shí)例甚至 timeline 以幫助讀者更加直觀地了解這一新范式，非常值得閱讀原文。

特別鳴謝

感謝 TCCI 天橋腦科學(xué)研究院對于 PaperWeekly 的支持。TCCI 關(guān)注大腦探知、大腦功能和大腦健康。

更多閱讀

#投 稿?通 道#

?讓你的文字被更多人看到?

如何才能讓更多的優(yōu)質(zhì)內(nèi)容以更短路徑到達(dá)讀者群體，縮短讀者尋找優(yōu)質(zhì)內(nèi)容的成本呢？答案就是：你不認(rèn)識的人。

總有一些你不認(rèn)識的人，知道你想知道的東西。PaperWeekly 或許可以成為一座橋梁，促使不同背景、不同方向的學(xué)者和學(xué)術(shù)靈感相互碰撞，迸發(fā)出更多的可能性。?

PaperWeekly 鼓勵高校實(shí)驗(yàn)室或個人，在我們的平臺上分享各類優(yōu)質(zhì)內(nèi)容，可以是最新論文解讀，也可以是學(xué)術(shù)熱點(diǎn)剖析、科研心得或競賽經(jīng)驗(yàn)講解等。我們的目的只有一個，讓知識真正流動起來。

?????稿件基本要求：

? 文章確系個人原創(chuàng)作品，未曾在公開渠道發(fā)表，如為其他平臺已發(fā)表或待發(fā)表的文章，請明確標(biāo)注?

? 稿件建議以?markdown?格式撰寫，文中配圖以附件形式發(fā)送，要求圖片清晰，無版權(quán)問題

? PaperWeekly 尊重原作者署名權(quán)，并將為每篇被采納的原創(chuàng)首發(fā)稿件，提供業(yè)內(nèi)具有競爭力稿酬，具體依據(jù)文章閱讀量和文章質(zhì)量階梯制結(jié)算

?????投稿通道：

? 投稿郵箱：hr@paperweekly.site?

? 來稿請備注即時聯(lián)系方式（微信），以便我們在稿件選用的第一時間聯(lián)系作者

? 您也可以直接添加小編微信（pwbot02）快速投稿，備注：姓名-投稿

△長按添加PaperWeekly小編

????

現(xiàn)在，在「知乎」也能找到我們了

進(jìn)入知乎首頁搜索「PaperWeekly」

點(diǎn)擊「關(guān)注」訂閱我們的專欄吧

·

總結(jié)

以上是生活随笔為你收集整理的CMU预训练模型最新综述：自然语言处理新范式—预训练、Prompt和预测的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。