日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 综合教程 >内容正文

综合教程

业界关注:训练出 ChatGPT 需要消耗多少电力

發(fā)布時間:2023/12/15 综合教程 36 生活家
生活随笔 收集整理的這篇文章主要介紹了 业界关注:训练出 ChatGPT 需要消耗多少电力 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

3 月 10 日消息,AI 已經(jīng)重新成為科技行業(yè)的熱門話題,預計它將徹底改變從零售到醫(yī)藥等價值數(shù)萬億美元的行業(yè)。但每創(chuàng)造一個新的聊天機器人或圖像生成器都需要耗費大量的電力,這意味著這項技術可能釋放大量溫室氣體,進而加劇全球變暖問題。

微軟、谷歌和 ChatGPT 制造商 OpenAI 都要使用云計算,而云計算依賴于全球海量數(shù)據(jù)中心服務器內數(shù)以千計的芯片來訓練被稱為模型的 AI 算法,分析數(shù)據(jù)以幫助這些算法“學習”如何執(zhí)行任務。ChatGPT 的成功促使其他公司競相推出自己的 AI 系統(tǒng)和聊天機器人,或者開發(fā)使用大型 AI 模型的產品。

與其他形式的計算相比,AI 需要使用更多的能源,訓練單個模型消耗的電力超過 100 多個美國家庭 1 年的用電量。然而,雖然 AI 行業(yè)增長非常快,但卻不夠透明,以至于沒有人確切知道 AI 的總用電量和碳排放量。碳排放量也可能有很大差異,這取決于提供電力的發(fā)電廠類型,靠燒煤或天然氣發(fā)電供電的數(shù)據(jù)中心,碳排放量顯然高于太陽能或風力發(fā)電支持的數(shù)據(jù)中心。

雖然研究人員已經(jīng)統(tǒng)計了創(chuàng)建單一模型所產生的碳排放量,有些公司也提供了有關他們能源使用的數(shù)據(jù),但他們沒有對這項技術的總用電量進行總體估計。AI 公司 Huging Face 研究員薩莎?盧西奧尼(Sasha Luccioni)寫了一篇論文,量化了她旗下公司 Bloom 的碳排放情況,Bloom 是 OpenAI 模型 GPT-3 的競爭對手。盧西奧尼還試圖根據(jù)一組有限的公開數(shù)據(jù),對 OpenAI 聊天機器人 ChatGPT 的碳排放情況進行評估。

提高透明度

盧西奧尼等研究人員表示,在 AI 模型的電力使用和排放方面,需要提高透明度。有了這些信息,政府和公司可能會決定,使用 GPT-3 或其他大型模型來研究癌癥治療或保護土著語言是否值得。

更高的透明度也可能帶來更多的審查,加密貨幣行業(yè)可能會提供前車之鑒。根據(jù)劍橋比特幣電力消耗指數(shù),比特幣因其耗電量過大而受到批評,每年的耗電量與阿根廷一樣多。這種對電力的貪婪需求促使紐約州通過了一項為期兩年的禁令,暫停向以化石燃料發(fā)電供電的加密貨幣采礦商發(fā)放許可證。

GPT-3 是功能單一的通用 AI 程序,可以生成語言,具有多種不同的用途。2021 年發(fā)表的一篇研究論文顯示,訓練 GPT-3 耗用了 1.287 吉瓦時電量,大約相當于 120 個美國家庭 1 年的用電量。同時,這樣的訓練產生了 502 噸碳,相當于 110 輛美國汽車 1 年的排放量。而且,這種訓練只適用于一個程序,或者說是“模型”。

雖然訓練 AI 模型的前期電力成本巨大,但研究人員發(fā)現(xiàn),在某些情況下,這只是模型實際使用所消耗電力的 40% 左右。此外,AI 模型也在變得越來越大。OpenAI 的 GPT-3 使用了 1750 億個參數(shù)或變量,而其前身僅使用了 15 億個參數(shù)。

OpenAI 已經(jīng)在研究 GPT-4,而且必須定期對模型進行再訓練,以保持其對時事的了解。卡內基梅隆大學教授艾瑪?斯特魯貝爾(Emma Strubell)是首批研究 AI 能源問題的研究人員之一,她說:“如果你不對模型進行再訓練,它甚至可能不知道何為新冠肺炎。”

另一個相對的衡量標準來自谷歌,研究人員發(fā)現(xiàn),AI 訓練占該公司總用電量的 10% 至 15%,2021 年該公司的總用電量為 18.3 太瓦時。這意味著,谷歌的 AI 每年耗電量達 2.3 太瓦時,大約相當于亞特蘭大所有家庭的 1 年用電量。

科技巨頭作出凈零承諾

雖然在許多情況下,AI 模型變得越來越大,但 AI 公司也在不斷改進,使其以更高效的方式運行。微軟、谷歌和亞馬遜等美國最大的云計算公司,都做出了碳減排或凈零承諾。谷歌在一份聲明中表示,到 2030 年,該公司將在所有業(yè)務中實現(xiàn)凈零排放,其目標是完全使用無碳能源運營其辦公室和數(shù)據(jù)中心。谷歌還在使用 AI 來提高其數(shù)據(jù)中心的能效,該技術直接控制設施中的冷卻系統(tǒng)。

OpenAI 也列舉了該公司為提高 ChatGPT 應用程序編程接口的效率所做的工作,幫助客戶降低了用電量和價格。OpenAI 發(fā)言人表示:“我們非常認真地承擔起阻止和扭轉氣候變化的責任,我們對如何最大限度地利用我們的計算能力進行了很多思考。OpenAI 運行在 Azure 上,我們與微軟團隊密切合作,以提高運行大型語言模型的效率并減少碳排放。”

微軟指出,該公司正在購買可再生能源,并采取其他措施,以實現(xiàn)之前宣布的目標,即到 2030 年實現(xiàn)凈零排放。微軟在聲明中稱:“作為我們創(chuàng)造更可持續(xù)性未來承諾的一部分,微軟正在投資于研究,以衡量 AI 的能源使用和碳排放影響,同時致力于提高大型系統(tǒng)在培訓和應用方面的效率。”

耶路撒冷希伯來大學教授羅伊?施瓦茨(Roy Schwartz)與微軟的一個團隊合作,測量了一個大型 AI 模型的碳足跡。他表示:“顯然,這些公司不愿透露他們使用的是什么模型,以及它排放了多少碳。”

有些方法可以讓 AI 更高效地運行。能源咨詢公司 Wood Mackenzie 的本?赫茲-沙格爾(Ben Hertz-Shargel)表示,由于 AI 訓練可以隨時進行,開發(fā)者或數(shù)據(jù)中心可以將訓練安排在電力更便宜或過剩的時候,從而使它們的運營更加環(huán)保。AI 公司在電力過剩時訓練自己的模型,然后可以在營銷中將其當成一大賣點,以此表明他們注重環(huán)保。

芯片運行耗電量驚人

大多數(shù)數(shù)據(jù)中心使用圖形處理單元(GPU)來訓練 AI 模型,這些組件是芯片行業(yè)制造的最耗電組件之一。摩根士丹利分析師本月早些時候發(fā)布的一份報告稱,大型模型需要數(shù)萬個 GPU,培訓周期從幾周到幾個月不等。

AI 領域更大的謎團之一是與所使用芯片相關的碳排放總量。最大的 GPU 制造商英偉達表示,當涉及到 AI 任務時,他們的芯片可以更快地完成任務,總體上效率更高。

英偉達在聲明中表示:“與使用 CPU 相比,使用 GPU 來加速 AI 速度更快,也更高效。對于某些 AI 工作負載來說,能效通常可以提高 20 倍,對于生成式人工智能必不可少的大型語言模型,能效則可提高 300 倍。”

盧西奧尼說,雖然英偉達已經(jīng)披露了與能源相關的直接排放和間接排放數(shù)據(jù),但該公司并沒有透露更多細節(jié)。她認為,當英偉達分享這些信息時,我們可能發(fā)現(xiàn) GPU 消耗的電量與一個小國用電量差不多,“這可能會讓人抓狂”!

總結

以上是生活随笔為你收集整理的业界关注:训练出 ChatGPT 需要消耗多少电力的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯,歡迎將生活随笔推薦給好友。

主站蜘蛛池模板: 高清成人免费视频 | 国产三级精品在线观看 | 双性受孕h堵精大肚生子 | 2025国产精品视频 | 久久久999久久久 | 免费高清欧美大片在线观看 | 三级网站免费观看 | 免费看av毛片 | 老熟妇毛茸茸 | 免费久久精品视频 | 免费成人黄 | 做a爰小视频 | 动漫精品一区一码二码三码四码 | 久久国产精品毛片 | 成人精品久久 | 一区二区影院 | 激情天天 | 香蕉视频首页 | 日韩在线一二三 | 庆余年三 | 亚洲人在线观看视频 | 97色综合 | 亚洲久久在线 | 色视频一区 | 成人激情在线 | 日韩一区二区三区精品视频 | 日韩精彩视频在线观看 | 亚洲天堂黄色 | 免费三片在线观看网站v888 | 韩国美女啪啪 | 一区二区三区四区在线 | 成人亚洲网站 | 亚洲片国产一区一级在线观看 | 婷婷av在线 | 免费看污的网站 | 天天操天天操天天操天天操 | 黑人巨大精品欧美黑寡妇 | 中文字幕码精品视频网站 | 三级色视频 | 噜噜噜久久,亚洲精品国产品 | 91福利免费| 久久视频黄色 | 高清久久| 小伸进喷水网站 | 天天躁日日躁狠狠躁av | 成人小网站 | 香蕉视频在线免费看 | www.天天综合 | 欧美va天堂 | 毛片大全免费看 | 欧美第三页 | 国产一级二级在线观看 | 国产人免费人成免费视频 | 日日摸夜夜添夜夜 | 欧美成人手机在线视频 | 国产人伦精品一区二区三区 | 91看片就是不一样 | 长河落日电视连续剧免费观看 | 日韩视频免费观看高清完整版 | 成av人片一区二区三区久久 | 亚洲自拍激情 | 日韩欧美国产一区二区在线观看 | 美女福利在线观看 | 精品人妻一区二区三区四区久久 | 69国产 | 六月丁香在线视频 | 成人不卡视频 | 韩国三级在线看 | 亚洲欧洲中文字幕 | 成人免费av网站 | 午夜裸体性播放 | 一区二区三区三区在线 | 午夜激情视频在线播放 | 久久麻豆精品 | 久久国内精品 | 伊人一区 | 98自拍视频 | 中文字幕+乱码+中文乱 | 国产黄色的视频 | 麻豆伦理片 | 成人18在线 | 国产又爽又黄又嫩又猛又粗 | 日韩va中文 | 国产探花一区二区三区 | 欧美日韩人妻精品一区二区三区 | 日本激情影院 | 中文字幕二区在线观看 | 国产欧美日韩视频在线观看 | 欧美a天堂 | 国产高清在线不卡 | 天天躁日日躁aaaa视频 | 欧美色999| 女人又爽又黄免费女仆 | av在线亚洲天堂 | 午夜污污 | www.浪潮av.com | 一区二区欧美视频 | 色播视频在线播放 | 婷婷激情五月综合 |