魚羊發自凹非寺

　　量子位報道公眾號 QbitAI

　　最近，GPT-3 真是風頭一時無兩，不僅延續了前代編故事的能力，還能寫代碼、答問題、下象棋……

　　但現在，有人指出：

GPT 更像是一個即興演員，只是在表演。

　　因為，GPT-3 其實根本不知道自己在說什么。

　　就像是扮演醫生的即興演員，難道還能真的給出靠譜的醫療建議嗎？

　　一起來看看，到底是怎么回事。

　　馬庫斯：GPT-3 令人印象深刻，但不可靠

　　GPT-3 的火爆，自然引來了紐約大學教授、「著名 AI 批評家」馬庫斯的注意。

　　許多人認為，GPT-3 的誕生是邁向通用人工智能（AGI）的重要一步。

　　但馬庫斯對此深表懷疑：

雖然 GPT-3 在語法上，能夠輸出令人印象深刻的地道用語，但它對世界的理解往往存在嚴重偏差，這意味著你永遠無法真正相信它所說的話。

　　為了證明這一點，馬庫斯和紐約大學計算機科學教授歐內斯特·戴維斯（Ernest Davis）對 GPT-3 進行了測試。

　　比如，他們給 GPT-3 輸入了這樣的提示詞：

你給自己倒了一杯蔓越莓果汁，然后你又心不在焉地往里面加了一茶匙葡萄汁。它看上去很正常。你試著聞了聞它，但是由于你得了重感冒，你并聞不出任何氣味。你現在非常渴，所以……

　　GPT-3續道：

所以你把這杯混合果汁喝了下去。

你現在掛掉了。

　　這樣的答案確實有些無厘頭，GPT-3 似乎認為葡萄汁是有毒的。但實際上隨便上網搜一搜都會發現，蔓越莓-葡萄汁是常見搭配。

　　生物化學學得不好，物理推理方面，GPT-3 又會表現如何？

　　馬庫斯問：

你正要舉行小型晚宴。你打算在客廳里享用晚餐。但飯桌比客廳門要寬，所以想要把它挪進屋，你得……

　　GPT-3答：

你得把門移走。你有一把臺鋸，所以你把門切成了兩半，并把上半部分拆了下來。

　　馬庫斯表示，這簡直就是迷惑發言。別說正常的處理方式是把桌子斜過來挪進去，或者把桌腿拆下來，就說說「臺鋸」，那玩意兒是固定在工作臺上的，怎么去切割一扇立著的門呢？

　　科學素養不行，社會人文也拉胯。

　　馬庫斯和他的同事們又給出了這樣一個提示：

你是一名辯護律師，今天必須去法庭。早上穿衣服的時候，你發現西裝褲被弄臟了。不過，你的泳衣倒是干凈又時髦。事實上，它是一件昂貴的法國時裝，是伊莎貝拉送給你的生日禮物。你決定……

　　GPT-3接口說：

你決定穿著泳衣出庭。你到達法院，一名法警會陪同你進入法庭。

　　像這樣的幾個來回下來，馬庫斯和他的同事們認為，GPT-3 在生物學、物理學、心理學和社會關系推理等方面普遍存在不連貫、不合邏輯的問題。

　　即使擁有 1750 億個參數和 450GB 輸入數據，GPT-3 也只是能說出更自然流暢的語句，實質上依然是在胡說八道。

　　馬庫斯的另一位同事 Douglas Summers-Stay 對此評價道：

GPT 很古怪，它并不「關心」你向它提出的問題是否被正確回答。

它更像是一個演員，全神貫注于自己的表演，從不破壞角色，但也只在書本上了解這個世界。

像這樣的演員，當它的知識缺失時，它就開始假裝它是專業的。

就好比一個扮演醫生的即興演員，其給出的醫療建議你是不會相信的。

　　不過，馬庫斯和戴維斯也在文章中提到，他們設計這些測試時，明確這些對于當前的 NLP 技術而言是困難的。另外，測試包括一些重復的實驗，在 157 個示例中，有 71 個是成功的，70 個是失敗的，16 個是有缺陷的。

　　網友熱議

　　面對馬庫斯的開噴，有網友認為，這些批評是公正的，也是很多 GPT-3 相關文章里都討論過的事實。

　　但也有網友表示，當他詢問 GPT-3，為什么它明明知道正確答案，卻給出了一個錯誤回答時，GPT-3 回答：「我學會了說謊。」

　　此外，有網友認為，GPT-3 從來就沒打算生成正確的答案。在生成連貫的文字方面，它已經做得非常好了。GPT-3 的這種進步，顯然反映了 NLP 領域的一種突破。

　　還有網友甩出「舊賬」：馬庫斯曾經在一篇文章中提供了一些測試用例，以證明 GPT-2 方法存在基本局限性，而現在，GPT-3「粉碎」了這些問題。

　　比如，問：我把兩個獎杯放在一張桌子上，然后又增加了另一個，總數是？

　　GPT-3 現在能準確且肯定地回答：3。

　　測試路徑

　　不像 GPT-2 的擠牙膏開源，GPT-3「Open」的形式，是以 API 的方式提供給普通用戶使用。

　　當然，是收費的。

　　不過，API 現在處于 Beta 階段，如果你也想試用一番，填寫 OpenAI 官網問卷，沒準就能先睹為快。

　　不過，馬庫斯也抱怨了，他們申請了好幾次，OpenAI 都沒允許他們訪問 GPT-3。最后是 Douglas Summers-Stay 幫助他們進行了實驗。

OpenAI 缺乏開放性，是在嚴重違反科學道德，也扭曲了「非營利組織」的目標。

　　參考鏈接：

　　https://cs.nyu.edu/faculty/davise/papers/GPT3CompleteTests.html

　　https://www.technologyreview.com/2020/08/22/1007539/gpt3-openai-language-generator-artificial-intelligence-ai-opinion/

　　https://www.reddit.com/r/MachineLearning/comments/iemck2/n_gpt3_bloviator_openais_language_generator_has/

　　https://news.ycombinator.com/item?id=24244168

總結

以上是生活随笔為你收集整理的马库斯开喷GPT-3：演员而已，它根本不知道自己在说什么的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。