提示學習prompt

為什么要用提示學習？下游任務(wù)的目標與預訓練的目標差距過大導致提升效果不明顯，微調(diào)過程中依賴大量的監(jiān)督語料

降低語義差異：預訓練任務(wù)主要以（MLM）為主，而下游任務(wù)則重新引入新的訓練參數(shù)，因此兩個階段的目標通常有較大差異；

避免過擬合：由于再Fine-tuning階段需要新引入額外的參數(shù)以適配相應(yīng)的任務(wù)需要，因此在樣本數(shù)量有限的情況容易發(fā)生過擬合，降低了模型的泛化能力。

提示：寫完文章后，目錄可以自動生成，如何生成可參考右邊的幫助文檔

文章目錄

• **提示學習prompt**
• 一、Prompt工作原理
• 二、提示學習的組成部分
• 三、提示學習的設(shè)計
• • 1.人工設(shè)計模板
  • 2.自動學習模板
• 四、為什么引入prompt
• Prompt的挑戰(zhàn)與展望
• 五、參考文獻

---

一、Prompt工作原理

提示：這里可以添加本文要記錄的大概內(nèi)容：

例如：隨著人工智能的不斷發(fā)展，機器學習這門技術(shù)也越來越重要，很多人都開啟了學習機器學習，本文就介紹了機器學習的基礎(chǔ)內(nèi)容。

---

提示：以下是本篇文章正文內(nèi)容，下面案例可供參考

二、提示學習的組成部分

其他 NLP 任務(wù)的 Prompt 如何設(shè)計呢？實際上劉鵬飛大神在他的論文中給我們提供了一些參考

三、提示學習的設(shè)計

1.人工設(shè)計模板

Prompt 的模板最開始是人工設(shè)計的，人工設(shè)計一般基于人類的自然語言知識，力求得到語義流暢且高效的「模板」。人工設(shè)計模板的優(yōu)點是直觀，但缺點是需要很多實驗、經(jīng)驗以及語言專業(yè)知識。下圖是 GPT Understands, Too 論文中的一個實驗結(jié)果

2.自動學習模板

四、為什么引入prompt

Prompt的挑戰(zhàn)與展望

Prompt的設(shè)計問題。目前使用Prompt的工作大多集中于分類任務(wù)和生成任務(wù)，其它任務(wù)則較少，因為如何有效地將預訓練任務(wù)和prompt聯(lián)系起來還是一個值得探討的問題。另外，模板和答案的聯(lián)系也函待解決。如何同時搜索或者學習出兩者聯(lián)合的最好效果仍然很具挑戰(zhàn)性。

Prompt的理論分析和可解釋性。盡管Prompt方法在很多情況下都取得了成功，但是目前prompt-based learning的理論分析和保證還很少，使得人們很難了解Prompt為什么能達到好的效果，又為什么在自然語言中意義相近的Prompt有時效果卻相差很大。

Prompt在PLM debias方面的應(yīng)用。由于PLM在預訓練過程中見過了大量的人類世界的自然語言，所以很自然地受到了影響。比如說訓練語料中有很多的"The capital of China is “Beijing.”，導致模型認為下次看到"capital" 的時候都會預測出"Beijing",而不是著重看到底是哪個國家的首都。在應(yīng)用的過程中，Prompt還暴露了PLM學習到的很多其它bias，比如種族歧視、恐怖主義、性別對立等等。

五、參考文獻

總結(jié)

以上是生活随笔為你收集整理的提示学习Prompt介绍的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。