引子

這個(gè)周末OpenAI搞了一個(gè)大新聞，圍繞 Sam Altman 和 Ilya Sutskever 的各種討論遍地開(kāi)花，而其中一個(gè)關(guān)注點(diǎn)就是他們對(duì)于 AGI 降臨態(tài)度上的偏差。本文不打算討論公司治理和辦公室政治，而是用一些思維實(shí)驗(yàn)和大家都公認(rèn)的現(xiàn)象來(lái)分析純理論而言 AGI 會(huì)如何降臨。一個(gè)基本的結(jié)論就是：如今的 GPT 模型注定會(huì)誕生 AGI。更關(guān)心論證的朋友可以直接跳過(guò)前兩個(gè)介紹基礎(chǔ)知識(shí)的段落直接看后續(xù)的推理過(guò)程。不過(guò)限于篇幅，這篇里僅僅提出了問(wèn)題，具體分析會(huì)在后續(xù)文章中給出。本文提出了意識(shí)和載體之間可能存在的辯證依賴關(guān)系，提出了一個(gè)識(shí)別自我意識(shí)的途徑，可能是所有 AI 研究者長(zhǎng)期等待的一個(gè)假說(shuō)理論的雛形

AGI 的一般定義

首先我們先設(shè)定一個(gè)有關(guān) AGI 的一般定義。AGI 通常是至一個(gè)智能體具有人類水平的通用智能,能夠?qū)W習(xí)、理解和應(yīng)用知識(shí)去解決各種復(fù)雜問(wèn)題,并且具有自我提升的能力。主要特征包括:

• 強(qiáng)大的學(xué)習(xí)和推理能力,可以從數(shù)據(jù)中學(xué)習(xí)模式并進(jìn)行復(fù)雜推理。
• 具有語(yǔ)言理解和自然語(yǔ)言處理能力,能夠理解人類語(yǔ)言并進(jìn)行有意義的交流。
• 擁有廣泛的世界知識(shí)和常識(shí),可以把學(xué)習(xí)到的知識(shí)應(yīng)用到不同領(lǐng)域。
• 可以跨模型理解和學(xué)習(xí),融合不同形式的信息如語(yǔ)音、圖像、視頻等。
• 表現(xiàn)出創(chuàng)造力和規(guī)劃能力,能解決新問(wèn)題并制定計(jì)劃達(dá)成目標(biāo)。
• 具備自我意識(shí)和自我提升的能力,可以主動(dòng)設(shè)置目標(biāo)并不斷進(jìn)步。

當(dāng)前的AI系統(tǒng)都屬于弱 AI 或狹義 AI,距離真正的AGI還有很長(zhǎng)的路要走。幾大特征中，目前的人工智能已經(jīng)能達(dá)到大部分，而在諸多能力中，具備自我意識(shí)和自我提升能力是最具有挑戰(zhàn)性的。

GPT/LLM 的工作原理

對(duì)應(yīng)的，我們也需要了解人工智能目前大致的原理。并且我們可以斷定，任何一個(gè)環(huán)節(jié)其本身不具有任何智力，不具有任何主觀意識(shí)。

• 模型架構(gòu)
  LLM模型通常采用Transformer編碼器結(jié)構(gòu),由多層編碼塊組成,每個(gè)編碼塊包含自注意力機(jī)制和前饋網(wǎng)絡(luò)。模型參數(shù)通常在億級(jí)到萬(wàn)億級(jí)。

• 大規(guī)模語(yǔ)料預(yù)訓(xùn)練
  在海量文本語(yǔ)料上進(jìn)行無(wú)監(jiān)督預(yù)訓(xùn)練,通過(guò)自回歸預(yù)測(cè)語(yǔ)言序列的下一個(gè)詞來(lái)學(xué)習(xí)語(yǔ)言的表征。預(yù)訓(xùn)練目標(biāo)是最大化語(yǔ)料的聯(lián)合概率分布。

• 遷移學(xué)習(xí)
  利用預(yù)訓(xùn)練中的語(yǔ)言知識(shí),通過(guò)精調(diào)應(yīng)用于下游NLP任務(wù),如文本分類、問(wèn)答、對(duì)話等。只需要調(diào)整最后的輸出層。

• 模式識(shí)別
  LLM可以學(xué)習(xí)語(yǔ)言中的模式,并根據(jù)前文進(jìn)行語(yǔ)義解析和推理,預(yù)測(cè)后文內(nèi)容。

• 多任務(wù)學(xué)習(xí)
  除語(yǔ)言建模外,還可以通過(guò)掩碼語(yǔ)言模型等方式進(jìn)行預(yù)訓(xùn)練,讓模型學(xué)習(xí)不同語(yǔ)言任務(wù)的表示。

• 生成
  利用采樣策略可以生成連續(xù)、語(yǔ)義連貫的文本。通過(guò)條件提示也可以指導(dǎo)內(nèi)容生成。

GPT 是否理解它的輸出

簡(jiǎn)單的說(shuō)，GPT 并不“理解”它的輸出。GPT 能正確得回答你的問(wèn)題，并給出操作步驟，甚至 GPT 能通過(guò)大部分學(xué)校的書(shū)面考試，所以我們可以認(rèn)為 GPT 的確“掌握”了知識(shí)。基于 GPT 的原理，我們可以肯定只要給它更多的訓(xùn)練素材，GPT 注定能記住幾乎所有的人類知識(shí)，各行各業(yè)的知識(shí)。因此針對(duì) AGI 的一般定義，其中大部分已經(jīng)沒(méi)有什么疑問(wèn)了，達(dá)成目標(biāo)僅僅是個(gè)時(shí)間問(wèn)題，GPT 是一定能做到的。但是同時(shí)基于 GPT 的工作原理，有一種觀點(diǎn)則認(rèn)為：GPT 本身對(duì)于其輸出的信息并沒(méi)有任何“理解”的意義。GPT 僅僅是基于訓(xùn)練數(shù)據(jù)和自身模型，給出了概率意義上的計(jì)算結(jié)果而已。一個(gè)能通過(guò)大學(xué)考試的機(jī)器，并不真的擁有對(duì)應(yīng)知識(shí)的“理解”或“掌握”。

這里就有一個(gè)很有趣的對(duì)比。人類對(duì)比GPT，大家都能記憶相關(guān)的信息，然后順利通過(guò)考試。為什么我們就拒絕承認(rèn) GPT 擁有理解能力？甚至事實(shí)上即使是人類，也存在那種僅僅機(jī)械背誦了知識(shí)點(diǎn)而無(wú)法闡述更多理解的情況。完全類似，甚至可以說(shuō)相同的情況：“對(duì)象能順利針對(duì)給定的問(wèn)題，給出符合預(yù)期的答案”。但是僅僅由于一個(gè)是人類，另一個(gè)是 GPT 我們就排斥人工智能的成就，認(rèn)為人工智能并不真正意義上“理解”自己的輸出。我們不禁要問(wèn)：人類的“理解”究竟是什么?

如何讓一個(gè)人證明他“理解”/“掌握”了某個(gè)知識(shí)？是知其然且知其所以然嗎？是能舉一反三嗎？是能頂?shù)米〈疝q的專家團(tuán)從各種角度更深層次的提問(wèn)嗎？而事實(shí)上這些挑戰(zhàn)對(duì)于已經(jīng)掌握了幾乎所有人類知識(shí)的 GPT 來(lái)說(shuō)并不是有太大難度的任務(wù)，難道不是嗎？如果允許 GPT 模型進(jìn)行論文答辯，我相信它的表現(xiàn)應(yīng)該會(huì)顯著高于人類學(xué)生的平均值。本文從這里開(kāi)始提出這個(gè)尖銳的問(wèn)題：某個(gè)知識(shí)，究竟是被人或 GPT 所“掌握”了，還是某個(gè)知識(shí)借助于人或 GPT 這個(gè)載體被“承載”了？一個(gè)能“承載”知識(shí)的東西，是否一定“理解”被“承載”的知識(shí)？“理解”的定義究竟是什么？

未完待續(xù)

下面，我們將進(jìn)一步分析什么是“理解”。然后我們會(huì)進(jìn)一步對(duì)比“創(chuàng)造力”的定義，最終給出“自我意識(shí)”的一種可能的實(shí)現(xiàn)途徑

總結(jié)

以上是生活随笔為你收集整理的如何赋予 GPT/LLM 自我意识1的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。