已部署数十台!谷歌称自家AI超算系统优于英伟达
聚財聯社報道,當地時間周二(4月4日),谷歌公布了其用于訓練人工智能(AI)模型的超級計算機的最新細節。該公司稱,這些系統比英偉達公司的同期系統更快、更節能。
谷歌
據了解,谷歌張量處理器(tensor processing unit,簡稱TPU芯片)是該公司為機器學習定制的專用芯片(ASIC),第一代發布于2016年,為當時大熱的AlphaGo提供算力。與GPU相比,TPU采用低精度計算,在幾乎不影響深度學習處理效果的前提下大幅降低了功耗、加快運算速度。同時,TPU使用了脈動陣列等設計來優化矩陣乘法與卷積運算。
谷歌第四代TPU芯片
谷歌表示,目前公司90%以上的AI訓練工作都是通過谷歌自主研制的TPU芯片完成的。其AI訓練的過程是:通過給模型輸入數據,使其能夠用類似人類的文本回應、并具備生成圖像等功能。當前谷歌使用的是最新的第四代TPU芯片,谷歌公司周二發布的一篇論文詳細闡述了該公司是如何利用自己定制的光開關,將4000多個芯片組合到一臺超級計算機中,從而幫助連接一臺臺獨立機器。谷歌表示,其已經部署了數十臺采用第四代TPU打造的超級計算機,供內部使用和外部通過谷歌云使用。
相關論文
谷歌在論文中表示,對于同等大小的系統,其芯片比基于英偉達A100芯片的系統快1.7倍,能效高1.9倍。英偉達A100芯片與第四代TPU同時上市,并被用于GPT-4的訓練。不過英偉達目前的旗艦是H100芯片,谷歌并為與之進行對比,因為H100在谷歌芯片之后上市,并且采用了更先進的制程。
總結
以上是生活随笔為你收集整理的已部署数十台!谷歌称自家AI超算系统优于英伟达的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 魅族折叠屏最新爆料:配超大底主摄 有望年
- 下一篇: mysql怎么创建文字表_myMySQL