目錄

ChatGPT研究總結(jié)

一、程序接入用途不大

二、思考：如何構(gòu)建一個(gè)類似ChatGPT的自定義模型

一些ChatGPT研究學(xué)習(xí)資料（來(lái)源網(wǎng)絡(luò)）

（1）一文讀懂ChatGPT模型原理

（2）MATLAB科研圖像處理——基于ChatGPT編程

（3）ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) （收錄于先進(jìn)AI技術(shù)深度解讀）

（4）程序員淺用ChatGPT：替代還很遠(yuǎn)

（5）用ChatGPT 做硬件設(shè)計(jì)？

（6）chatGPT 的 49 種應(yīng)用場(chǎng)景介紹，各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南

---

ChatGPT研究總結(jié)

ChatGPT是一種由OpenAI訓(xùn)練的大型語(yǔ)言模型，它可以生成人類語(yǔ)言文本。在編寫小段代碼、書寫描述功能介紹等等方面有一定的幫助，但因?yàn)楣ぞ弑緛?lái)存在一些錯(cuò)誤現(xiàn)象，所以還需要人工審核，用其精華。同時(shí)，使用過(guò)程中還需注意對(duì)結(jié)果中可能存在的版權(quán)風(fēng)險(xiǎn)。

目前ChatGPT使用中主要存在如下問(wèn)題：

慢：因?yàn)橛?jì)算量巨大，速度較慢，通常一個(gè)問(wèn)題需要幾分鐘才有答案

錯(cuò)：因?yàn)橹皇俏谋菊Z(yǔ)言模型分析，存在回答結(jié)果錯(cuò)誤現(xiàn)象

廣度待提升：模型訓(xùn)練的領(lǐng)域廣度還待提升

一、程序接入用途不大

程序接入的用途不大，因?yàn)橥ㄟ^(guò)sdk只是封裝出一個(gè)軟件界面，核心的計(jì)算代碼還是部署在服務(wù)器上的訓(xùn)練代碼，而目前通過(guò)微信公眾號(hào)（ChatChatGPT）等接口輸入也能達(dá)到使用ChatGPT，所以沒(méi)有必要來(lái)接入程序，做一個(gè)“軟件殼”，作用不大。

二、思考：如何構(gòu)建一個(gè)類似ChatGPT的自定義模型

例如，能否構(gòu)建一個(gè)壓裂監(jiān)測(cè)模型，根據(jù)監(jiān)測(cè)的電磁信號(hào)來(lái)推測(cè)壓裂縫隙的走向?

關(guān)于這個(gè)問(wèn)題，先總監(jiān)一下 ChatGPT 模型構(gòu)建中的幾個(gè)關(guān)鍵點(diǎn)：

1、大數(shù)據(jù)訓(xùn)練:

基于2021年所擁有的數(shù)據(jù)集，預(yù)訓(xùn)練數(shù)據(jù)量可能超過(guò)百T級(jí)，非常巨大

ChatGPT參數(shù)量達(dá)到了1750億，模型設(shè)定的參數(shù)非常多

2、人工對(duì)結(jié)果標(biāo)注
ChatGPT進(jìn)行了人工標(biāo)反饋和獎(jiǎng)勵(lì)，以輔助人工智能程序不斷優(yōu)化（進(jìn)化）

3、訓(xùn)練費(fèi)用

“GPT-3 模型訓(xùn)練一次需要花費(fèi) 460 萬(wàn)美元”

見(jiàn)附錄：《chatGPT 的 49 種應(yīng)用場(chǎng)景介紹，各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南》一文。

綜合這幾點(diǎn)，我們可以構(gòu)建出一個(gè)預(yù)測(cè)壓裂監(jiān)測(cè)縫隙的模型，但前提是有足夠的數(shù)據(jù)，也需要人工來(lái)驗(yàn)證相應(yīng)數(shù)據(jù)的結(jié)果，提供充足的資金，來(lái)進(jìn)行模型訓(xùn)練。

一些ChatGPT研究學(xué)習(xí)資料（來(lái)源網(wǎng)絡(luò)）

（1）一文讀懂ChatGPT模型原理

一文讀懂ChatGPT模型原理

一文讀懂ChatGPT模型原理 - 知乎

不光是做人工智能、機(jī)器學(xué)習(xí)的人關(guān)注，而是大量的各行各業(yè)從業(yè)人員都來(lái)關(guān)注這個(gè)模型，真可謂空前盛世。
所謂語(yǔ)言模型的訓(xùn)練和學(xué)習(xí)，就是從大量的數(shù)據(jù)中學(xué)習(xí)復(fù)雜的上下文聯(lián)系。

與此同時(shí)，OpenAI 早于 Bert 出品了一個(gè)初代 GPT 模型。

在 NLP 領(lǐng)域，人們使用語(yǔ)言一般包括三個(gè)步驟：
接受聽(tīng)到或讀到的語(yǔ)言 -> 大腦理解 -> 輸出要說(shuō)的語(yǔ)言。

GPT-3 的模型所采用的數(shù)據(jù)量之大，高達(dá)上萬(wàn)億，模型參數(shù)量也十分巨大，上千億，學(xué)習(xí)之復(fù)雜，計(jì)算之繁復(fù)，
如此巨大的模型造就了 GPT-3 在許多十分困難的 NLP 任務(wù)，諸如撰寫人類難以判別的文章，甚至編寫SQL查詢語(yǔ)句，React或者JavaScript代碼上優(yōu)異的表現(xiàn)。

ChatGPT 模型上基本上和之前 GPT-3 都沒(méi)有太大變化，主要變化的是訓(xùn)練策略變了，用上了強(qiáng)化學(xué)習(xí)。
幾年前，alpha GO 擊敗了柯潔，幾乎可以說(shuō)明，強(qiáng)化學(xué)習(xí)如果在適合的條件下，完全可以打敗人類，逼近完美的極限。
強(qiáng)化學(xué)習(xí)非常像生物進(jìn)化，模型在給定的環(huán)境中，不斷地根據(jù)環(huán)境的懲罰和獎(jiǎng)勵(lì)（reward），擬合到一個(gè)最適應(yīng)環(huán)境的狀態(tài)。

這里重點(diǎn)是第二步中，如何構(gòu)建一個(gè) reward 函數(shù)，在alpha go 里，這個(gè)reward 函數(shù)就是下完一盤圍棋之后判斷誰(shuí)輸誰(shuí)贏，只需要一個(gè)程序函數(shù)即可完成。
而在ChatGPT里，具體就是讓那40名外包人員不斷地從模型的輸出結(jié)果中篩選，判斷哪些句子是好的，哪些是低質(zhì)量的，這樣就可以訓(xùn)練得到一個(gè) reward 模型。

一個(gè)語(yǔ)言文字訓(xùn)練的人工智能程序

存在問(wèn)題：

僅限于語(yǔ)言標(biāo)注

僅限于以前輸入到系統(tǒng)中，訓(xùn)練的數(shù)據(jù)庫(kù)，如果有新的數(shù)據(jù)還需要重新添加并訓(xùn)練

存在編程過(guò)程中，答案正確率較低的現(xiàn)象

（2）MATLAB科研圖像處理——基于ChatGPT編程

MATLAB科研圖像處理——基于ChatGPT編程

MATLAB科研圖像處理——基于ChatGPT編程 - 知乎

ChatGPT是一個(gè)非常強(qiáng)大的語(yǔ)言模型，但它并不是萬(wàn)能的

（3）ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) （收錄于先進(jìn)AI技術(shù)深度解讀）

ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) （收錄于先進(jìn)AI技術(shù)深度解讀）

ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) （收錄于GPT-4/ChatGPT技術(shù)與產(chǎn)業(yè)分析） - 知乎

ChatGPT 是一種專注于對(duì)話生成的語(yǔ)言模型。它能夠根據(jù)用戶的文本輸入，產(chǎn)生相應(yīng)的智能回答。這個(gè)回答可以是簡(jiǎn)短的詞語(yǔ)，也可以是長(zhǎng)篇大論。
其中GPT是Generative Pre-trained Transformer（生成型預(yù)訓(xùn)練變換模型）的縮寫。

目標(biāo)是開(kāi)發(fā)造福全人類的AI技術(shù)。

每一代GPT模型的參數(shù)量都爆炸式增長(zhǎng)，堪稱“越大越好”。2019年2月發(fā)布的GPT-2參數(shù)量為15億，而2020年5月的GPT-3，參數(shù)量達(dá)到了1750億。

ChatGPT 是基于GPT-3.5（Generative Pre-trained Transformer 3.5）架構(gòu)開(kāi)發(fā)的對(duì)話AI模型，是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演練，或用于收集大量對(duì)話數(shù)據(jù)。

因此它只能基于2021年所擁有的數(shù)據(jù)集進(jìn)行回答
ChatGPT 通過(guò)算法屏蔽，減少有害和欺騙性的訓(xùn)練輸入。

（4）程序員淺用ChatGPT：替代還很遠(yuǎn)

程序員淺用ChatGPT：替代還很遠(yuǎn)

程序員淺用ChatGPT：替代還很遠(yuǎn)|源代碼|應(yīng)用程序|編程語(yǔ)言_網(wǎng)易訂閱

李智認(rèn)為，ChatGPT并不能編寫程序員角度的代碼，而是從互聯(lián)網(wǎng)收集龐大信息庫(kù)并使用它來(lái)生成代碼，解決問(wèn)題還是要靠人。
對(duì)于軟件程序，ChatGPT目前只有通用底層的能力，涉及電商、云服務(wù)等業(yè)務(wù)層面的能力尚有欠缺。比如要寫一個(gè)小程序，是可以借用ChatGPT來(lái)找算法、寫代碼、寫腳本

考慮到會(huì)侵犯知識(shí)產(chǎn)權(quán)。

（5）用ChatGPT 做硬件設(shè)計(jì)？

用ChatGPT 做硬件設(shè)計(jì)？

用ChatGPT 做硬件設(shè)計(jì)？ - 知乎

（6）chatGPT 的 49 種應(yīng)用場(chǎng)景介紹，各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南

chatGPT 的 49 種應(yīng)用場(chǎng)景介紹，各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南

chatGPT的49種應(yīng)用場(chǎng)景介紹，各開(kāi)發(fā)語(yǔ)言接入chatGPT參考指南_Java_非喵魚_InfoQ寫作社區(qū)

分析了存在的問(wèn)題：

慢

錯(cuò)

廣度待提升

api 注冊(cè)使用流程
直接用 chatGPT 去創(chuàng)建一個(gè)程序要用的秘鑰，
就可以使用 http 接口調(diào)用了。

程序接入到 chatGPT，所調(diào)用的接口，都是收費(fèi)接口，不過(guò)還好的是每一個(gè)新注冊(cè)的賬號(hào)頭 3 個(gè)月免費(fèi)使用，總消費(fèi)額度不超過(guò) 18 美元即可。另外下圖 4 個(gè)方塊就是 nlp 的模型，左邊 ada 速度最快，右邊達(dá)芬奇功能最強(qiáng)大。

轉(zhuǎn)載于：楊杰

總結(jié)

以上是生活随笔為你收集整理的ChatGPT学习研究总结的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。