ChatGPT学习研究总结
目錄
ChatGPT研究總結(jié)
一、程序接入用途不大
二、思考:如何構(gòu)建一個(gè)類似ChatGPT的自定義模型
一些ChatGPT研究學(xué)習(xí)資料(來(lái)源網(wǎng)絡(luò))
(1)一文讀懂ChatGPT模型原理
(2)MATLAB科研圖像處理——基于ChatGPT編程
(3)ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) (收錄于先進(jìn)AI技術(shù)深度解讀)
(4)程序員淺用ChatGPT:替代還很遠(yuǎn)
(5)用ChatGPT 做硬件設(shè)計(jì)?
(6)chatGPT 的 49 種應(yīng)用場(chǎng)景介紹,各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南
ChatGPT研究總結(jié)
ChatGPT是一種由OpenAI訓(xùn)練的大型語(yǔ)言模型,它可以生成人類語(yǔ)言文本。在編寫小段代碼、書寫描述功能介紹等等方面有一定的幫助,但因?yàn)楣ぞ弑緛?lái)存在一些錯(cuò)誤現(xiàn)象,所以還需要人工審核,用其精華。同時(shí),使用過(guò)程中還需注意對(duì)結(jié)果中可能存在的版權(quán)風(fēng)險(xiǎn)。
目前ChatGPT使用中主要存在如下問(wèn)題:
一、程序接入用途不大
程序接入的用途不大,因?yàn)橥ㄟ^(guò)sdk只是封裝出一個(gè)軟件界面,核心的計(jì)算代碼還是部署在服務(wù)器上的訓(xùn)練代碼,而目前通過(guò)微信公眾號(hào)(ChatChatGPT)等接口輸入也能達(dá)到使用ChatGPT,所以沒(méi)有必要來(lái)接入程序,做一個(gè)“軟件殼”,作用不大。
二、思考:如何構(gòu)建一個(gè)類似ChatGPT的自定義模型
例如,能否構(gòu)建一個(gè)壓裂監(jiān)測(cè)模型,根據(jù)監(jiān)測(cè)的電磁信號(hào)來(lái)推測(cè)壓裂縫隙的走向?
關(guān)于這個(gè)問(wèn)題,先總監(jiān)一下 ChatGPT 模型構(gòu)建中的幾個(gè)關(guān)鍵點(diǎn):
1、大數(shù)據(jù)訓(xùn)練:
2、人工對(duì)結(jié)果標(biāo)注
ChatGPT進(jìn)行了人工標(biāo)反饋和獎(jiǎng)勵(lì),以輔助人工智能程序不斷優(yōu)化(進(jìn)化)
3、訓(xùn)練費(fèi)用
“GPT-3 模型訓(xùn)練一次需要花費(fèi) 460 萬(wàn)美元”
見(jiàn)附錄:《chatGPT 的 49 種應(yīng)用場(chǎng)景介紹,各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南》一文。
綜合這幾點(diǎn),我們可以構(gòu)建出一個(gè)預(yù)測(cè)壓裂監(jiān)測(cè)縫隙的模型,但前提是有足夠的數(shù)據(jù),也需要人工來(lái)驗(yàn)證相應(yīng)數(shù)據(jù)的結(jié)果,提供充足的資金,來(lái)進(jìn)行模型訓(xùn)練。
一些ChatGPT研究學(xué)習(xí)資料(來(lái)源網(wǎng)絡(luò))
(1)一文讀懂ChatGPT模型原理
一文讀懂ChatGPT模型原理
一文讀懂ChatGPT模型原理 - 知乎
不光是做人工智能、機(jī)器學(xué)習(xí)的人關(guān)注,而是大量的各行各業(yè)從業(yè)人員都來(lái)關(guān)注這個(gè)模型,真可謂空前盛世。
所謂語(yǔ)言模型的訓(xùn)練和學(xué)習(xí),就是從大量的數(shù)據(jù)中學(xué)習(xí)復(fù)雜的上下文聯(lián)系。
與此同時(shí),OpenAI 早于 Bert 出品了一個(gè)初代 GPT 模型。
在 NLP 領(lǐng)域,人們使用語(yǔ)言一般包括三個(gè)步驟:
接受聽(tīng)到或讀到的語(yǔ)言 -> 大腦理解 -> 輸出要說(shuō)的語(yǔ)言。
GPT-3 的模型所采用的數(shù)據(jù)量之大,高達(dá)上萬(wàn)億,模型參數(shù)量也十分巨大,上千億,學(xué)習(xí)之復(fù)雜,計(jì)算之繁復(fù),
如此巨大的模型造就了 GPT-3 在許多十分困難的 NLP 任務(wù),諸如撰寫人類難以判別的文章,甚至編寫SQL查詢語(yǔ)句,React或者JavaScript代碼上優(yōu)異的表現(xiàn)。
ChatGPT 模型上基本上和之前 GPT-3 都沒(méi)有太大變化,主要變化的是訓(xùn)練策略變了,用上了強(qiáng)化學(xué)習(xí)。
幾年前,alpha GO 擊敗了柯潔,幾乎可以說(shuō)明,強(qiáng)化學(xué)習(xí)如果在適合的條件下,完全可以打敗人類,逼近完美的極限。
強(qiáng)化學(xué)習(xí)非常像生物進(jìn)化,模型在給定的環(huán)境中,不斷地根據(jù)環(huán)境的懲罰和獎(jiǎng)勵(lì)(reward),擬合到一個(gè)最適應(yīng)環(huán)境的狀態(tài)。
這里重點(diǎn)是第二步中,如何構(gòu)建一個(gè) reward 函數(shù),在alpha go 里,這個(gè)reward 函數(shù)就是下完一盤圍棋之后判斷誰(shuí)輸誰(shuí)贏,只需要一個(gè)程序函數(shù)即可完成。
而在ChatGPT里,具體就是讓那40名外包人員不斷地從模型的輸出結(jié)果中篩選,判斷哪些句子是好的,哪些是低質(zhì)量的,這樣就可以訓(xùn)練得到一個(gè) reward 模型。
一個(gè)語(yǔ)言文字訓(xùn)練的人工智能程序
存在問(wèn)題:
(2)MATLAB科研圖像處理——基于ChatGPT編程
MATLAB科研圖像處理——基于ChatGPT編程
MATLAB科研圖像處理——基于ChatGPT編程 - 知乎
ChatGPT是一個(gè)非常強(qiáng)大的語(yǔ)言模型,但它并不是萬(wàn)能的
(3)ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) (收錄于先進(jìn)AI技術(shù)深度解讀)
ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) (收錄于先進(jìn)AI技術(shù)深度解讀)
ChatGPT發(fā)展歷程、原理、技術(shù)架構(gòu)詳解和產(chǎn)業(yè)未來(lái) (收錄于GPT-4/ChatGPT技術(shù)與產(chǎn)業(yè)分析) - 知乎
ChatGPT 是一種專注于對(duì)話生成的語(yǔ)言模型。它能夠根據(jù)用戶的文本輸入,產(chǎn)生相應(yīng)的智能回答。這個(gè)回答可以是簡(jiǎn)短的詞語(yǔ),也可以是長(zhǎng)篇大論。
其中GPT是Generative Pre-trained Transformer(生成型預(yù)訓(xùn)練變換模型)的縮寫。
目標(biāo)是開(kāi)發(fā)造福全人類的AI技術(shù)。
每一代GPT模型的參數(shù)量都爆炸式增長(zhǎng),堪稱“越大越好”。2019年2月發(fā)布的GPT-2參數(shù)量為15億,而2020年5月的GPT-3,參數(shù)量達(dá)到了1750億。
ChatGPT 是基于GPT-3.5(Generative Pre-trained Transformer 3.5)架構(gòu)開(kāi)發(fā)的對(duì)話AI模型,是InstructGPT 的兄弟模型。ChatGPT很可能是OpenAI 在GPT-4 正式推出之前的演練,或用于收集大量對(duì)話數(shù)據(jù)。
因此它只能基于2021年所擁有的數(shù)據(jù)集進(jìn)行回答
ChatGPT 通過(guò)算法屏蔽,減少有害和欺騙性的訓(xùn)練輸入。
(4)程序員淺用ChatGPT:替代還很遠(yuǎn)
程序員淺用ChatGPT:替代還很遠(yuǎn)
程序員淺用ChatGPT:替代還很遠(yuǎn)|源代碼|應(yīng)用程序|編程語(yǔ)言_網(wǎng)易訂閱
李智認(rèn)為,ChatGPT并不能編寫程序員角度的代碼,而是從互聯(lián)網(wǎng)收集龐大信息庫(kù)并使用它來(lái)生成代碼,解決問(wèn)題還是要靠人。
對(duì)于軟件程序,ChatGPT目前只有通用底層的能力,涉及電商、云服務(wù)等業(yè)務(wù)層面的能力尚有欠缺。比如要寫一個(gè)小程序,是可以借用ChatGPT來(lái)找算法、寫代碼、寫腳本
考慮到會(huì)侵犯知識(shí)產(chǎn)權(quán)。
(5)用ChatGPT 做硬件設(shè)計(jì)?
用ChatGPT 做硬件設(shè)計(jì)?
用ChatGPT 做硬件設(shè)計(jì)? - 知乎
(6)chatGPT 的 49 種應(yīng)用場(chǎng)景介紹,各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南
chatGPT 的 49 種應(yīng)用場(chǎng)景介紹,各開(kāi)發(fā)語(yǔ)言接入 chatGPT 參考指南
chatGPT的49種應(yīng)用場(chǎng)景介紹,各開(kāi)發(fā)語(yǔ)言接入chatGPT參考指南_Java_非喵魚_InfoQ寫作社區(qū)
分析了存在的問(wèn)題:
api 注冊(cè)使用流程
直接用 chatGPT 去創(chuàng)建一個(gè)程序要用的秘鑰,
就可以使用 http 接口調(diào)用了。
程序接入到 chatGPT,所調(diào)用的接口,都是收費(fèi)接口,不過(guò)還好的是每一個(gè)新注冊(cè)的賬號(hào)頭 3 個(gè)月免費(fèi)使用,總消費(fèi)額度不超過(guò) 18 美元即可。另外下圖 4 個(gè)方塊就是 nlp 的模型,左邊 ada 速度最快,右邊達(dá)芬奇功能最強(qiáng)大。
轉(zhuǎn)載于:楊杰
總結(jié)
以上是生活随笔為你收集整理的ChatGPT学习研究总结的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: python123 第四次作业答案_Py
- 下一篇: 苹果iOS 8.0正式发布啦