GPT-3一誕生就成了業(yè)內議論的焦點，因為這個模型大概是目前人類歷史上最大且最貴的機器學習模型。

究竟有多大呢，這個模型有1750億余個參數(shù)，雖然OpenAI沒有開源這個pre-train的模型，但是可以預估模型體積在700G左右。這是什么概念，就是假設OpenAI把這個模型放出來開放下載，也很少有機構有能力讓這個模型serving起來。

那這個模型有多貴呢，訓練它用了3640petaflops-day，相當于每秒鐘做千萬億次浮點運算，計算了3640天。約等于500個A100卡算1個月，實際消耗的計算資源成本在千萬美元級別。

這個模型有多牛？訓練它用了45T的數(shù)據(jù)，在NLP領域的內容理解、文本自定義生成方面可以說效果非常好。網(wǎng)上有一些GPT-3的play ground，大家可以玩一玩。比如我設定了一個話題，它就會自動給我寫一段小故事：

主要聊聊GPT-3誕生后，整個AI領域一些商業(yè)模式的改變。首先GPT-3證明了一點，只要肯投入訓練數(shù)據(jù)，并且增加模型復雜度，就可以做大大力出奇跡。實現(xiàn)one-shot戰(zhàn)勝sota。One-shot指的是提供極少的訓練樣本也能生成模型，sota就是各個垂直領域的最牛逼的模型。

（以下對于商業(yè)模式的思考內容純屬YY）

所以未來在AI層面可能形成一個計算力霸權，并且形成一種新的商業(yè)模式“l(fā)earn from model”。在未來，可能幾家擁有計算力的公司，會集全部算力實現(xiàn)一個萬億級別參數(shù)的模型，這個模型可以達到類人甚至超越人的智力，實現(xiàn)zero-shot。就是對新內容可以直接做預測，比如人類沒有見過鴨嘴獸，但是可以根據(jù)它的嘴巴長的像鴨子而聯(lián)想到鴨嘴獸這樣的名字。

擁有了這個超級模型的公司會控制整個人工智能領域的發(fā)展，因為其它組織沒有能力訓練這么大的模型，甚至沒有能力基于這么大的模型finetune。就像是今天幾個大的互聯(lián)網(wǎng)公司占據(jù)了主流的流量，其它創(chuàng)業(yè)公司只能在垂直領域創(chuàng)新一樣。未來的基于人工智能的發(fā)展，可能只能通過商業(yè)公司提供的超級模型的基礎上做垂直領域的挖掘。人們通過某些手段調用這些超級模型，拿到結果，在做二次創(chuàng)新。

所以后續(xù)，假設大力出奇跡的模式成立，誰掌握了最大計算力，誰就最有可能獲取智能霸權，得到最牛的模型，這個模型將有可能像水、電、煤一樣成為一切人類應用的基礎設施，實現(xiàn)霸權。

總結

以上是生活随笔為你收集整理的浅析人类最贵、最大的机器学习模型GPT-3及背后隐含的商业逻辑的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。