出品｜網(wǎng)易科技《智見焦點》欄目

作者｜趙芙瑤

“AI軍火商”又有大動作了！在算力緊缺、H100被瘋搶、熱炒之時，北京時間11月13日晚間，英偉達帶著NVIDIA H200 Tensor Core GPU（圖形處理器）再次燃爆AI界！

英偉達此次最新推出的 H200 GPU，是其前代產品 H100的升級版。這款GPU基于強大的 NVIDIA Hopper 超級芯片架構，專為處理超大規(guī)模的大型模型訓練和推理而設計，非常適合生成式人工智能和高性能計算（HPC）任務。

此次H200的性能都有哪些飛躍？無論是部署在本地、云環(huán)境、混合云還是邊緣計算環(huán)境中，H200都能輕松應對嗎？答案是確定的。

性能、內存實現(xiàn)飛躍 成倍提升LLM推理能力

性能提升：H200在執(zhí)行Llama2 70B推理任務時比H100快了1.9倍，在執(zhí)行GPT-3 175B推理任務時快了1.6倍。對于高性能計算（HPC）任務，H200顯示出比傳統(tǒng)的雙x86 CPU快110倍的性能。更令人震撼的是，與傳統(tǒng)的中央處理器（CPU）相比，H200在高性能計算方面的速度提升了驚人的110倍。

內存優(yōu)勢：H200是第一個提供141GB HBM3e內存的GPU，內存帶寬高達每秒4.8TB，這幾乎是H100的兩倍。這種大幅增加的內存和帶寬對于需要處理大量數(shù)據(jù)的應用，如大規(guī)模模型的訓練和推理，以及科學計算非常重要。

在AI大模型時代，企業(yè)依賴LLM（大語言模型）來處理多樣化的推理需求。一個AI推理加速器必須提供最高的吞吐量，以便在為龐大用戶基礎規(guī)模部署時具有最低的總體擁有成本(TCO)。數(shù)據(jù)顯示，H200在處理像Llama2這樣的LLM時，與H100 GPU相比，推理速度提高了2倍。

具體而言，Llama2 13B模型在H100 GPU上的性能是1倍，在H200上是1.4倍；GPT-3 175B模型在H100和H200上性能都是1倍；Llama2 70B模型在H100上的性能是1倍，在H200上是1.9倍。

HPC性能：在HPC（高性能計算）應用中，H200與H100和A100相比表現(xiàn)出高達2倍的性能提升。這表明H200在需要大量內存和高帶寬的應用中尤其有優(yōu)勢，如物理模擬、氣候研究或復雜的數(shù)據(jù)分析。

能源和總擁有成本（TCO）：H200顯著降低了LLM推理工作負載的能源使用和TCO，據(jù)英偉達稱，能夠減少50%。在保持與H100相同功耗配置的情況下，H200提供了更好的性能，這表明其在能源效率上有所改進，對于需要在數(shù)據(jù)中心規(guī)模部署的企業(yè)而言，這是一個重要的經濟考量因素，也就是說，企業(yè)“買的越多，省的越多”。

代際變革：NVIDIA GPU在GPT-3 175B推理性能上也呈現(xiàn)不斷增長地趨勢。從A100到預計在2024年發(fā)布的B100，性能的增長實現(xiàn)了從1倍到預計的18倍。相比于A100，H200的性能提高了11倍。也就是說，NVIDIA的Hopper架構實現(xiàn)了在其前代產品基礎上的顯著性能躍升，并且通過不斷的軟件增強和開源庫的發(fā)布（如TensorRT-LMLM）持續(xù)推動性能的提升，為大語言模型的推理能力提供能量。

GPU賦能企業(yè)AI軟件:NVIDIA此次強調了H200 GPU與其AI企業(yè)軟件的結合，希望簡化企業(yè)創(chuàng)建AI平臺的過程，加快生成式AI的開發(fā)和部署。無論是3D模型、圖表還是圖像，H200在多個AI應用領域中都具有應用潛力，包括計算機視覺、語音AI等。

GH200加持AI超級計算機：可用于氣候、醫(yī)藥和量子研究等

值得一提的是，GH200的發(fā)布還將為AI超算中心提供算力支持。新一代超級計算機JUPITER將由NVIDIA Grace Hopper™加速計算架構提供動力，為AI和模擬工作負載提供極端規(guī)模的計算能力。

JUPITER設在德國Jülich研究中心，由EuroHPC聯(lián)合企業(yè)擁有，由Eviden和ParTec承包。JUPITER是與NVIDIA、ParTec、Eviden和SiPearl合作建造的，旨在加速氣候和天氣研究、材料科學、藥物發(fā)現(xiàn)、工業(yè)工程和量子計算等領域基礎AI模型的創(chuàng)建。

JUPITER標志著四節(jié)點NVIDIA GH200 Grace Hopper Superchip配置的首次亮相，基于Eviden的BullSequana XH3000液冷架構，并配備一個由近24,000個NVIDIA GH200 Superchip組成的增強模塊，這些Superchip通過NVIDIA Quantum-2 InfiniBand網(wǎng)絡平臺相互連接。

JUPITER能夠為AI訓練提供超過90 exaflops的性能，比Jülich之前的JUWELS Booster系統(tǒng)多出45倍。其還能提供1 exaflop的高性能計算（HPC）應用性能，同時僅消耗18.2兆瓦的電力。

四節(jié)點GH200具有創(chuàng)新的節(jié)點架構，配備288個Arm Neoverse核心，能夠使用高達2.3太字節(jié)的高速內存實現(xiàn)16 petaflops的AI性能。四個GH200處理器通過高速NVIDIA NVLink?連接網(wǎng)絡。

結語

前一陣子GPTs以及GPT turbo的更新令人振奮，尤其是圖片解析功能更是讓諸多創(chuàng)業(yè)公司叫苦不迭，此次英偉達攜GH200震撼登場，配備了7個NVDEC（硬件解碼器）和7個JPEG解碼器來用于處理視頻和圖像數(shù)據(jù)，這無疑意味著其視頻分析和圖像處理應用將爆炸式提升。相信全球都將無比期待明年公布的英偉達B100 AI 芯片以及GH200的上市了。

總結

以上是生活随笔為你收集整理的智见焦点｜英伟达携H200再次席卷AI界 一文看懂AI“军火商”的大动作的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。