與第一代TPU只能服務(wù)于機(jī)器學(xué)習(xí)模型計(jì)算不同，谷歌最新的TPU現(xiàn)在既能處理訓(xùn)練也能處理服務(wù)。InfoQ年初曾詳細(xì)介紹過(guò)第一代TPU白皮書。

第二代TPU的發(fā)布時(shí)間與一周前NVIDIA發(fā)布Volta的時(shí)間高度吻合，后者是一個(gè)普通的GPU，針對(duì)TensorFlow進(jìn)行了優(yōu)化，具備經(jīng)過(guò)嚴(yán)格測(cè)試的Tensor Core特性。谷歌沒(méi)有像第一代TPU發(fā)布時(shí)那樣提供一份與第二代TPU配套的公共白皮書。第一代TPU的白皮書是在TPU發(fā)布幾個(gè)月之后才發(fā)布的。所以，可以推測(cè)，詳細(xì)介紹第二代TPU（TPU-2）基準(zhǔn)測(cè)試數(shù)據(jù)的白皮書即將到來(lái)。理想情況下，其中會(huì)包含TPU和競(jìng)爭(zhēng)對(duì)手芯片組配置的測(cè)試組合、它們的邊界性能以及在它們上面運(yùn)行的機(jī)器學(xué)習(xí)工作負(fù)載類型。和第一代TPU白皮書類似，那會(huì)提供有關(guān)TPU-2的詳細(xì)信息。

谷歌提供了一些高級(jí)性能指標(biāo)，據(jù)推測(cè)，這些指標(biāo)是以谷歌通過(guò)GCP計(jì)算引擎提供TPU即服務(wù)時(shí)使用的TPU物理基礎(chǔ)設(shè)施配置為基礎(chǔ)。一組特定的研究人員和科學(xué)家將可以免費(fèi)使用一個(gè)包含1000個(gè)云TPU的集群。該免費(fèi)的TPU基礎(chǔ)設(shè)施和面向其他所有人的GCP服務(wù)可能有一個(gè)很大程度的抽象，硬件研究人員或新聞資訊可以在沒(méi)有白皮書的情況下有一個(gè)深入的了解。在性能提升方面，谷歌指出：

……我們的大規(guī)模新翻譯模型在32個(gè)全世界最好的商用GPU上訓(xùn)練了一整天，而1/8個(gè)TPU Pod一下午就可以完成這項(xiàng)任務(wù)……

TPU-2 Pod包含由多個(gè)TPU-2處理器組成的TPU-2板。根據(jù)谷歌公告中的零星技術(shù)信息以及幾張照片，我們可以推測(cè)，每個(gè)芯片上的閃存可能存在連通性，單個(gè)的TPU-2之間可能共享閃存狀態(tài)。

第二代TPU基礎(chǔ)設(shè)施提供多達(dá)256個(gè)芯片，它們連接在一起可以提供11.5千兆次的機(jī)器學(xué)習(xí)運(yùn)算能力。谷歌接受Alpha版本試用申請(qǐng)，不過(guò)，申請(qǐng)表單和研究人員的免費(fèi)試用表單相同。目前，還不清楚下一代TPU是否會(huì)用在類似CloudML這樣在GPU上執(zhí)行模型訓(xùn)練的服務(wù)中。不過(guò)，該服務(wù)不只限于TPU。該GCP特性

讓用戶可以在競(jìng)爭(zhēng)對(duì)手的芯片（如英特爾的Skylake）或GPU（如Nvidia的Volta）上構(gòu)建自己的模型，然后將項(xiàng)目遷移到谷歌TPU云上做最后的處理。

對(duì)于TPU-2相對(duì)于第一代TPU的性能提升，現(xiàn)在還很難做出充分的比較，因?yàn)樗鼈兊奶匦约偷讓訑?shù)學(xué)操作原語(yǔ)不同。第一代TPU沒(méi)有使用浮點(diǎn)操作，而是使用一個(gè)8位的整數(shù)近似地表示浮點(diǎn)數(shù)。現(xiàn)在還不知道谷歌是否提供近似方法將浮點(diǎn)運(yùn)算性能轉(zhuǎn)換成8位整數(shù)，用于定量分析的浮點(diǎn)運(yùn)算估計(jì)。

谷歌最新的大規(guī)模翻譯模型在32個(gè)“最好的商業(yè)GPU”上需要訓(xùn)練一整天，而1/8個(gè)TPU Pod一下午就可以完成這項(xiàng)工作……每塊板子的最大峰值吞吐量為每秒45萬(wàn)億次浮點(diǎn)運(yùn)算，如上所述，系統(tǒng)板每秒總計(jì)180萬(wàn)億次浮點(diǎn)運(yùn)算，峰值性能可達(dá)11500萬(wàn)億次。

能夠訪問(wèn)閃存以及可以在同樣的硬件上提供訓(xùn)練和服務(wù)的能力會(huì)影響谷歌和其他芯片組生產(chǎn)商的競(jìng)爭(zhēng)關(guān)系，因?yàn)锳MD的Vega Radeon?Instinct?GPU加速器既可以直接訪問(wèn)閃存，也可以提供ML訓(xùn)練和服務(wù)。

總結(jié)

以上是生活随笔為你收集整理的谷歌发布第二代TPU，并提供了免费试用方案的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。