來源：立委NLP頻道

圖靈測試的實質就是要讓人機交互在限定時間內做到真假莫辨。玩過GPT3的同學們都清楚，其實這一點已經做到了。從這個角度看，圖靈測試已經過時了。區別人和機器，需要尋找其他的標準。

今天就嘮一嘮正在風口上的預訓練語言大模型。大模型標志著NLP的新方向。這是只有大投資或大廠才能玩得起的游戲，目前推出了30多款大模型。咱們先從 GPT3 談起。

GPT3 是 OpenAI 推出的自然語言生成模型，是語言超大模型潮流中的比較成熟的一款。生成模型擅長的應用領域主要在人機對話的場合。最為人樂道的是它的“善解人意”，貌似可以聽懂人給它的指令。這就是所謂 prompt（提示）接口：人不需要編程代碼，而是可以直接通過自然語言的提示和樣例，告訴它想生成什么，無論是回答問題、機器翻譯、生成對聯還是聊天，它都蠻擅長。可以說，GPT3 的 prompt 已經部分實現了白碩老師所說的 NL2X （至少在任務X是語言生成類的場景）的閉環。

自從 GPT3 發布以來，有很多令人驚艷的表現被用戶錄屏在網上流傳。已經形成了用戶粉絲群體了。當然很快就有人找到某個角度讓模型露怯，表明模型并不真“理解”背后的邏輯。但這并不影響還有很多看似 open-ended 的語言任務，它真是聽了就能做。

例如，有人要它就某個話題幫助寫一篇英文文章。

這可算是流暢自然的對話了，聽懂了似的，雖然還沒有去具體執行任務 lol 接著用戶重復這個要求，它果然就立即執行了，文章寫得好壞再論，人家反正是聽從了指令，跟個切身小蜜似的。

因為是生成模型，所以人機交互的時候，它的應對具有隨機性。有時候讓人驚艷，有時候也會露怯。但交互本身總是很流暢，給人感覺，通過圖靈測試已經不在話下。

老友說這不過是噱頭。我不大同意。噱頭是人為的，模型并不懂什么叫噱頭，也不會刻意為之。當然也可以說是測試者挑揀出來的噱頭。不過，好在模型是開放的、隨機的，可以源源不斷制造這種真假莫辨的人機交互噱頭。在知識問答、翻譯、講故事、聊天等方面，就是圖靈再生也不大容易找到這一類人機交互的破綻。又因為其隨機性，每次結果都可能不同，就更不像是只懂死記硬背的機器了。機器貌似有了某種“靈性”。

再看看 GPT3 模型中的中文表現。

詞做得不咋樣，尤其是對于大詞人辛老，他老人家應該是字字珠璣。但這里的自然語言對話，模型對于自然語言提示的“理解”，以及按照要求去做詞，這一切讓人印象深刻。這種人機交互能力不僅僅是炫技、噱頭就能無視的。

當然，現在網上展示出來的大多是“神跡”級別的，很多是讓人拍案叫絕的案例。生成模型隨機生成的不好的結果，通常被隨手扔進垃圾桶，不見天日。這符合一切粉絲的共性特點。但慢慢玩下來，有幾點值得注意：

1. 有些任務，靠譜的生成居多。例如，知識問答幾乎很少出錯。IBM沃倫當年知識問答突破，背后的各種工程費了多大的勁兒。現在的超大模型“降維”解決了。同時解決的還有聊天。

2. 隨機性帶來了表現的不一致。但如果應用到人來做挑選做判官的后編輯場景，則可能會有很大的實用性。以前說過，人腦做組合不大靈光，畢竟記憶空間有限，但人腦做選擇則不費力氣。結果是好是壞，通常一眼就可以看出來。結果中哪些部分精彩，哪些部分需要做一些后編輯，這都是人的長項。人機耦合，大模型不會太遠就會有實用的東西出來。例如輔助寫作。

3. 超大模型現在的一鍋燴和通用性主要還是展示可行性。真要領域規模化落地開花，自然的方向是在數據端做領域純化工作，犧牲一點“通用性”，增強領域的敏感性。這方面的進展值得期待。

老友說，我還覺得應該在硬件(模型架構上有一些設計)，不僅僅是為了lm意義上的，還要有知識的消化和存儲方面的。

不錯，目前的大模型都是現場作業，基本沒有知識的存貯，知識也缺乏層次、厚度和邏輯一致性。這不是它的長項。這方面也許要指望今后與知識圖譜的融合。（圖譜的向量化研究據說目前很火。）

聽懂人話，首先要有解析能力吧。大模型中的另一類就是主打這個的，以 BERT 為代表。BERT 實際上就是個 parser，只不過結果不是以符號結構圖表示而已。認清這一點，咱們先看看 parser 本身的情況。

很久以來一直想不明白做語言解析（parsing）怎么可能靠訓練做出好的系統出來。按照以前對于解析的理解，這是要把自然語言消化成結構和語義。而結構和語義是邏輯層面的東西，沒有外化的自然表現，它發生在人腦里。訓練一個 parser，機器學習最多是用 PennTree 加上 WSD 的某些標注來做，那注定是非常局限的，因為標注代價太高：標注語言結構和語義需要語言學碩士博士才能做，普通人做不來。這就限定死了 parser 永遠沒法通用化，可以在指定語料，例如新聞語料中做個樣子出來，永遠訓練不出來一個可以與我們這些老司機手工做出來的 parser 的高質量和魯棒性。因此，讓機器去做符號parsing，輸出符號結構樹是沒有實用價值的。迄今為止，從來沒有人能成功運用這類訓練而來的 parsers （例如谷歌的 SyntaxNet，斯坦福parser，等） 做出什么像樣的應用來，就是明證。

現在看來，這個問題是解決了。因為根本就不要用人工標注，用語言本身就好。parsing 也不必要表示成顯性結構和語義符號，內部的向量表示就好。把語言大數據喂進去，語言模型就越來越強大，大模型開始顯示賦能下游NLP任務的威力。黃金標準就是隨機選取的語言片段的 masks（遮蔽起來讓訓練機器做填空題），所學到的語言知識比我們傳統的符號 parser 不知道豐富多少，雖然犧牲了一些可解釋性和邏輯一致性。

看得見摸不透的中間向量表示，終于靠語言模型與實際原生語料的預測，落地了。這個意義怎么高估也不過分。所以，昨天我把我的博客大標題“deep parser 是NLP的核武器”悄悄改了，加了個限定詞，成了：

因為 BERT/GPT3 里面的語言模型（特別是所謂編碼器 encoders）才是更普適意義上的 NLP 核武器。我們語言學家多年奮斗精雕細刻的parsers是小核見大核，不服還真不行。

從語言學習語言，以前感覺這怎么能學好，只有正例沒有反例啊。（順便一提，喬姆斯基當年論人類語言的普遍文法本能，依據是：沒有天生的普遍文法，單靠暴露在語言環境中，兒童怎么可能學會如此復雜的自然語言，畢竟所接觸的語言雖然全部是正例，但卻充滿了口誤等偏離標準的東西。）

其實，一般而言，語言模型只要有正例即可。從語言學習語言的模型訓練，通常用對于next word 的預測，或者對于被遮蔽的隨機片段（masks） 的預測來實現。正例就是原文，而“反例”就是一切偏離正例（ground truth）的隨機結果。通過梯度下降，把這些隨機結果一步步拉回到正例，就完成了語言模型的合理訓練。語言模型，乃至一切預測模型，從本性上說是沒有標準（唯一）答案的，每一個數據點的所謂 ground truth 都只是諸多可能性之一。語言模型的本質是回歸（regression）任務，而不是分類（classification）任務，只有正例就好 ，因為整個背景噪音實際上就是反例。

有意思的是，BERT 除了語言的句子模型外，還要學習篇章（discourse）知識，這歌任務被定義為簡單的二分類問題，回答的是：兩個句子是否具有篇章連續性。這里，沒有反例，就自動創造反例出來。語料中任意兩個相鄰的句子就成為正例，而隨機拼湊的兩個句子就成了反例。一半正例，一半反例，這么簡單的 classifier 就把這個難題破解了，使得語言模型超越了句子的限制。

看看 BERT 大模型是如何訓練并被成功移植去支持下游NLP任務的，這就是所謂遷移學習（transfer learning）。

（本圖采自谷歌的DL視屏講座，版權歸原作者所有）

左邊的 encoder 的訓練。落地到 LM 的原生數據，因此完全符合監督學習的 input –》output 模式。到了NLP應用的時候（右圖），不過就是把 encoder 拷貝過來，把落地的目標改成特定NLP任務而已。加一層 output layer 也好，加 n 層的 classifier 也好，總之前面的語言問題有人給你消化了。

Transfer learning 也嚷嚷了好多年了，一直感覺進展不大，但現在看來是到笑到最后的那刻了。

未來智能實驗室的主要工作包括：建立AI智能系統智商評測體系，開展世界人工智能智商評測；開展互聯網（城市）大腦研究計劃，構建互聯網（城市）大腦技術和企業圖譜，為提升企業，行業與城市的智能水平服務。每日推薦范圍未來科技發展趨勢的學習型文章。目前線上平臺已收藏上千篇精華前沿科技文章和報告。

??如果您對實驗室的研究感興趣，歡迎加入未來智能實驗室線上平臺。掃描以下二維碼或點擊本文左下角“閱讀原文”

總結

以上是生活随笔為你收集整理的图灵测试其实已经过时了的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。