Prompt的范式大抵是兩種：

• 續寫Prefix：用在GPT2-3那種單向LM預訓練模型上，輸入「好好學習，翻譯成英文：」，輸出「good good study」
• 完形填空：用在BERT那種MLM式預訓練模型上，比如情感分類任務可以輸入「這個餅不錯，太X了」，輸出「棒」

Prompt主要難在3個方面：
輸入端：

怎么樣選取合適的Prompt，適配不同任務，同時把模型潛能激發出來

怎么把Prompt結合輸入的句子構成模型的輸入

輸出端：

模型的輸出（ Answer）不可能與標簽相同，拿到answer后如何往標準化的Y（標簽空間）映射

訓練：

怎樣利用Prompt機制精調一下模型

舉例：

輸入端

4個不同的Prompt：

Prompt與輸入a的結合：

輸出端：Answer的映射

Answer的映射是標簽詞表的映射：
對于輸出1，2，3，4，5依次對應terrible、bad、okay、good、great。

訓練

以往模型只要對P(l|x)建模就好了（l是label），但現在我們加入了Prompt P以及標簽映射v，所以這個問題就可以更新為：

$s_p$是模型M的輸出logits。再通過softmax，就可以得到概率：

訓練過程如下所示：

總結

以上是生活随笔為你收集整理的Prompt入门的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。