已部署数十台!谷歌称自家AI超算系统优于英伟达
聚財聯(lián)社報道,當(dāng)?shù)貢r間周二(4月4日),谷歌公布了其用于訓(xùn)練人工智能(AI)模型的超級計算機的最新細(xì)節(jié)。該公司稱,這些系統(tǒng)比英偉達(dá)公司的同期系統(tǒng)更快、更節(jié)能。
谷歌
據(jù)了解,谷歌張量處理器(tensor processing unit,簡稱TPU芯片)是該公司為機器學(xué)習(xí)定制的專用芯片(ASIC),第一代發(fā)布于2016年,為當(dāng)時大熱的AlphaGo提供算力。與GPU相比,TPU采用低精度計算,在幾乎不影響深度學(xué)習(xí)處理效果的前提下大幅降低了功耗、加快運算速度。同時,TPU使用了脈動陣列等設(shè)計來優(yōu)化矩陣乘法與卷積運算。
谷歌第四代TPU芯片
谷歌表示,目前公司90%以上的AI訓(xùn)練工作都是通過谷歌自主研制的TPU芯片完成的。其AI訓(xùn)練的過程是:通過給模型輸入數(shù)據(jù),使其能夠用類似人類的文本回應(yīng)、并具備生成圖像等功能。當(dāng)前谷歌使用的是最新的第四代TPU芯片,谷歌公司周二發(fā)布的一篇論文詳細(xì)闡述了該公司是如何利用自己定制的光開關(guān),將4000多個芯片組合到一臺超級計算機中,從而幫助連接一臺臺獨立機器。谷歌表示,其已經(jīng)部署了數(shù)十臺采用第四代TPU打造的超級計算機,供內(nèi)部使用和外部通過谷歌云使用。
相關(guān)論文
谷歌在論文中表示,對于同等大小的系統(tǒng),其芯片比基于英偉達(dá)A100芯片的系統(tǒng)快1.7倍,能效高1.9倍。英偉達(dá)A100芯片與第四代TPU同時上市,并被用于GPT-4的訓(xùn)練。不過英偉達(dá)目前的旗艦是H100芯片,谷歌并為與之進(jìn)行對比,因為H100在谷歌芯片之后上市,并且采用了更先進(jìn)的制程。
總結(jié)
以上是生活随笔為你收集整理的已部署数十台!谷歌称自家AI超算系统优于英伟达的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 魅族折叠屏最新爆料:配超大底主摄 有望年
- 下一篇: 三星向用户发布警告:镜头膜可能反而损坏手