課代表：ChatGPT及大模型專題研討會

周末應領導的要求聽了一下午的直播（什么時候能不再做領導對啥感興趣你就要每天圍著什么轉的牛馬呢？），一打開還看到了自己本科的老師（死去的記憶突然攻擊我）。既然做都做了，還是有些結果比較好，簡單分享一下我的筆記和一些思考

以ChatGPT為代表的對話式大型語言模型

• 模型角度：具備涌現能力的模型（目前看來為自回歸的、參數規模在百億以上的，就是10+B）

• 涌現能力：小實體不具備，但是小實體聚在一起的規模達到一個質變點的時候忽然出現的能力。參數規模小的時候沒有，在參數規模突破百億時，忽然出現了一些能力。目前比較特色的有：

  • 情景學習能力（in-context learning）

  • 思維鏈能力（chain-of-thought）能夠進行逐步推理，分解復雜問題

  • 執行指令的能力（Instruction learning）

    我們后面會逐一詳談

• 能夠以對話的形式和人類交互

• 能夠和人類的意圖對齊：helpful, honest, harmless

• ChatGPT

  • 2017年Google提出Transformer，openai據此提出生成式解碼器GPT
  • +2021年Google提出的指令學習模型FLAN，據此融入指令學習技術
  • +2017年OpenAI自己提出的優化算法PPO，據此融入PPO技術
  • +2021年OpenAI自己提出的基于人類反饋的自動摘要方法，據此融入基于人類反饋的學習訓練

有趣的三個能力

• In-context learning

  學習上下文的能力，比如在輸入的自然語言中給出一些示例，以“問題1-答案1，問題2-答案2，目標問題”的形式輸入模型，得到的答案效果明顯提升（few-shot），表現為一種被示例引導的語言生成能力。

• chain of thought：

  可以視為基于In-context learning的一種能力——輸入的示例不再是直接給出答案，而是“問題1-步驟1-步驟2-步驟3-答案1，問題2-步驟1-步驟2-步驟3-答案2，目標問題-”的形式， 此時模型輸出的內容也會呈現明顯的步驟，仿佛具備了思考的過程

  • base GPT-3并沒有這個能力，懷疑是后來進行的代碼數據的預訓練帶來的

  • program-aided reasoning：輔助解決神經網絡算術運算能力不足的問題

    在chain-of-thought基礎上，再附上代碼程序語句，比如計算的公式。然后模型在生成的時候，就會也生成代碼輔助計算，從某種程度上實現把計算能力分離出神經網絡的效果，提升算術運算的理解效果

    • 因此，可以用同樣的方法在推理場景中，把邏輯表達式等分離出來，提升推理效果

• learning from natural instructions

  • 把不同的NLP任務都指令化，即在訓練預料中增加描述指令的語句，發現在40多個任務上訓練，就能在上百種任務的指令上泛化

通用的AI能力

Chatgpt表現出了強大的通用能力，似乎可以應對所有和語言有關的問題，或者凡是可以轉換為語言形式的任務。這與其訓練過程有關，通常通過大規模的語料進行預訓練，從而獲得語言的通用能力，然后再為了完成下游的具體任務，比如文本分類、序列標注，再進行第二個環節的訓練。目前有如下幾個范式：

預訓練 + 全參數微調

模型較小時用的多，把預訓練得到的通用模型，變成具體任務的專家

存在的問題：

• 資源占用夸張：每個任務都有一份參數值不同但規模相同的大模型
• 過擬合：下游的具體任務通常數據稀缺，此時過大的參數規模就會學太猛，把噪聲一起學進去，導致過擬合
• 通用能力降低

預訓練 + 提示學習進行inference

• 預訓練得到通用大模型后，不改變其參數
• 將下游的任務形式進行改變，變成和預訓練一樣的數據形式，比如預訓練的時候進行文本補全，不斷推測輸入語句序列的下一個詞是什么，在進行文本分類的時候，就用某種方式把分類也變成“下一個詞”。比如我們可以在輸入文本的末尾增加“The sentiment is possitive[label]”，就實現了文本分類任務變成預訓練階段的文本生成補全任務
• 在對具體的任務進行inference的時候，直接用prompt的方式利用大模型的通用能力完成任務
• 問題
  • 這樣的提示語特別難找
  • 離散提示語：自然語言，不知道搜索空間在哪里，同任務的不同樣本之間最合適的提示語可能不同
  • 連續提示語：像embedding一樣的一組向量，非自然語言。可以理解成是某種抽象的提示語，它能夠指代的東西更多，因此具備一定的泛化能力

預訓練+指令學習

• 對數據進行提示語增強，即在數據中加入提示語后進行第二輪訓練，模型的參數會進行一次調整，但是所有的任務都用同一個調整參數后的通用模型解決

發展方向

• 模型的能力通常用Knows矩陣評估，給知識領域做如下劃分

  • knows knows：知道自己知道什么
  • knows unknows：知道自己不知道什么，能夠對不知道的問題說我不知道
  • unknown knows：實際上是能解決的，但是模型以為自己不知道。chatgpt通過CoT（思維鏈能力）進行拆解，能夠通過解決小問題的方式，從而解決以為自己不知道的復雜問題
  • unknown unknows：實際上不知道，但是模型以為自己知道，所以一本正經的胡說八道

• 發展的方向：擴充knows knows和knows unknows

  • up-to-date的知識更新能力
  • untoxic
  • 使用輔助工具的能力，比如使用計算器
  • 與現實世界對齊，而不是僅僅和人類的語言對齊。（現實世界中文本知識+暗知識）

大佬們感興趣的工作

MOSS模型：200億參數，中英文公開數據集，有對話能力，能基于交互進行迭代優化。提及工作耗費128卡，4個月，語料500B互聯網數據

Prompt領域的工作：

• PLM：為每個樣本學習連續提示語，但未考慮同任務不同樣本的共性
  • Unified prompt learning

NLG的評價方法

• 目前，存在標答的NLP任務，人工標注存在一致性問題、采樣問題；不存在標答的NLP任務，如寫故事的任務，不能準確評估想象力和創造性。評估指標和人類意圖存在一定gap
• 利用prompt挖掘chatgpt對文本質量進行評價的能力，從而實現非人工的自動評價

應用于業界垂類場景

• 最性價比參數規模尋找：當下千億級別的模型并沒有完全發揮潛能，開放的數據即將耗盡
• 最性價比訓練數據
  • 考慮大模型的遷移能力、考慮數據的提純過濾技術
  • 大規模通用語料 + 小規模垂類語料
  • 直接使用大規模垂類語料
  • 通用、垂類語料比例混合
• 強化垂類專業性的訓練技術
  • 多任務提示，指令微調
  • 小模型無法涌現的CoT：大模型-小模型的Teacher-student架構
  • 垂類領域的prompt engineering
    • 生成prompt的產品，供垂類專家使用，形成專家-in-loop的prompt生成方案
    • prompt自優化：APE, DSP
  • 模型加速：分布式并行訓練，提高訓練效率
• 增強模型通用能力
  • CoT能力增強，實現模型對復雜問題的拆解能力
  • 結合知識庫的檢索能力
  • 結合搜索引擎
  • 內容轉換，如算術轉換為代碼，再結合代碼解釋器的能力

涌現原因的試解釋

• 發現
  • 多步驟任務上才表現出涌現能力，其它的都是單純的scaling laws（規模越大，效果越好）
  • 不同任務、不同模型、不同能力，涌現出現的規模門檻均不相同
  • 數據量較少的任務上，隨著訓練過程推進，會出現頓悟(grokking)現象：效果出現跳變。隨著訓練過程，有記憶期->平臺期->泛化期這樣明顯的階段，發現跳變的原因是模型學到了一個比較好的任務結構的表征
• 試解釋
  • 能力涌現是因為模型達到一定規模，訓練數據中某個比例的子任務的數據進行了良好的任務結構學習，出現grokking，從而實現性能跳變
  • 能力涌現實際上只是一種表象，實際上還是符合scaling laws，是評估指標對多任務總結果粗暴評估導致的
    • 多步驟的任務，如果拆成多個子任務，評估某個子任務的效果，會發現呈scaling laws

大佬們關心的未解之謎

• 為什么訓練數據不僅僅決定模型的性能，還會影響模型訓練過程的成敗？（有報告稱改變數據導致訓練失敗了好幾次）
• 能力涌現的原因？參數規模的門檻是否并非百億，僅僅是因為測試參數規模的時候并不連續，為什么小模型沒有涌現？
• 中文訓練數據占比很少，但是效果非常好，這樣的語種遷移能力是如何來的？
• 大模型的能力能否蒸餾到小模型？
• 未來應該如何研究黑盒一般的大語言模型，是否可以采用腦科學的研究范式？

一些碎碎念（題外話，可太長不看）

直播的最后是一個圓桌討論，臺上的人都是我不認識的各種大佬，title很多，年紀也都比我大不少，聽他們聊天的時候我邊在打掃衛生，腦子里放空般地想了很多，包括ChatGPT橫空出世以來，工作上、網絡上發生的種種變化、焦慮和討論。

專家們都是信心滿滿的，認為OpenAI提供了一條可行的路，只是路很長，但是大家抬起腳使勁走就行了。

我不知道有多少人和我有同樣的感受，從一個不成熟的獨生子的角度來說，路的方向和路程的長度對我而言都是非常重要的。我從小是非常適應孤獨的，我會我也喜歡和別人合作，但我常常首先思考自己一個人就能解決的方案，優先尋找自己一個人就能做好的事。

這個讓大佬們興奮的領域，對我來說是一個遙遠的領域，有多遙遠呢？我自己一個人的學習不夠，我和小伙伴一起學習還是不夠，它所體現出來的算力問題、經濟成本，讓我覺得它是一個和我無關的事情，我能做的事甚少。即便方向在那里，但是路程的長度同樣讓我卻步，因為我的青春，甚至我的一生，都是非常短暫的。這大概是一種精致的利己，不愿意為什么事業奉獻自己的一生，但大概同時也是一種沒有希望的現實，和這個社會其他的一些方面相似。沒有感受到在某個事業中能迸發個人價值的希望的人，要如何燃燒自己的動力源，投身某項事業中呢？

我不知道這算不算是一種對于普通的自己的自我接納，還是一種不想再前進的怯懦。于我而言，我只要學會使用這樣的新技術（一個人就能使用的話），做一些我自己覺得有意思的東西就好了。這仿佛是我對于網上最近涌現的替代焦慮，頓悟的答案。對我來說，大模型就像是鍵盤、鼠標，就像JAVA PYTHON一樣，只是人和機器交互的一種新方式，這個方式更加沒有門檻也不需要練習，就說話就行了。我只想用它做一些我一個人就能做出來的好玩的東西，我自己覺得好玩并且享受就好了。

但是即便是一個這么新、這么便捷的人機交互的方式，也一定有人不會使用。就像文字、鍵盤、鼠標、手機，每一個時代的技術都不會覆蓋到每一個人，于是每個時代都產生各種各樣的需求，他們需要被各種各樣的新事物服務。過去我用編程語言讓機器創造程序，實現我想要的效果，可能未來我只要和機器說話，就可以實現我要的效果，而這個效果，服務于不同的人群，滿足不同的需求，我還是有自己的一席之地，但是說話這件事太沒有門檻（真的嗎？），所以難免會產生淘汰焦慮。

但未來誰能預料呢，過分關注未來，只是在給現在找借口罷了——“反正未來也會XXXX，我現在不采取什么行動也可以”或者“等我怎么怎么樣了，我再好好過怎樣的人生，所以現在我就先不采取行動，好好忍耐吧”。

我始終覺得，關鍵不在于未來的周遭是如何的，關鍵是理想的自己有什么特質，如何靠近。我期待自己是一個這樣的人：

有好奇心，并能準確描述自己的問題。這是我從不太會用手機的老爸那里觀察來的。對于一個陌生的龐然大物，首先能夠提出清晰的問題，并逐步發現子問題，找到子答案，最后匯總成自己的答案

每一刻都是全新的自己。我慢慢地發現，周圍的很多人都有某種程度的“一勞永逸”的期待，比如在某個領域深耕了十余年，如果這個領域被AI挑戰，就會萬念俱灰，好像做了“用我十年二十年光陰，換我百歲長安”的買賣。我希望每一刻的自己都是全新的，每一刻的自己都是一個隨機過程吐出來的狀態，它不受過去的強連續性約束，每一個付出都在它完成的一刻完結，把它拋在腦后，而選擇只活在“此時此刻”。曾經高中三年是為了考大學，大學四年是為了畢業，碩士兩年是為了工作，現在我不想再為了這為了那了，今天的我選擇做什么，僅僅獻給今天的自己，到明天的時候，這一份精力的付出就和昨天的我一起永久的封存了，明天的我，面對明天的世界，采取新的行動，永遠做一個有耐心的小白。

有人味兒。我設想在自動化程度已經很高的今天，手機縮短了信息的距離，卻拉遠了人與人之間的距離的今天，在AI進一步把自動化拉向智能化的時候，我會覺得什么是難能可貴的？我想大概是人味兒，不絕對理智的、不全面的、有點任性的、不現實的、單純利他的奉獻激情，等等。我最想保持的人味兒，就是我可笑的理想主義和有點兒沒邊的真誠。

驚喜。我跟自己說了好多年，“夢想是成為一份驚喜”。近幾年的推薦算法一直有一個難題，人的興趣是突變的，刷幾個視頻他突然就不想再看這個話題了，他刷到某個別的視頻，他突然對這個話題都感興趣了。我希望在AI的世界里，我給AI的驚喜能更多一些，我還記得本科的時候，AI還沒火的大一，我聽見滿頭白發的院長蒼老地說“靈感和頓悟可能是大自然給人類留下的最后一道防線”，我希望我可以好好珍惜，希望靈感乍現的時刻能多一點。

總結

以上是生活随笔為你收集整理的课代表：ChatGPT及大模型专题研讨会的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。