英特尔发布 Gaudi 3 AI 芯片：性能超越英伟达 H100，第三季度上市
4 月 9 日消息，在今晚的 Vision 2024 活動中，英特爾發布了新一代 Gaudi 3 AI 芯片，并將于 2024 年第三季度通過 OEM 系統大批量上市。
據介紹，新款 Gaudi 3 與英偉達 H100 相比訓練性能提高了 170%，推理能力提高了 50%，效率提高了 40%，但成本卻低得多（注：H100 已經是英偉達上一代產品，英特爾并未與最新的 Blackwell 系列產品進行對比）。
此外，英特爾還為其數據中心 CPU 產品組合推出了全新品牌命名：原代號為 Granite Rapids 和 Sierra Forest 的芯片現在將被稱為 “Xeon 6” 系列。這些芯片計劃于今年上市，并將支持全新性能提升的標準化 MXFP4 數據格式。
英特爾同時宣布正在開發用于以太網網絡的 AI NIC ASIC 以及 AI NIC 小芯片。這些小芯片將用于其未來 XPU 和 Guadi 3 處理器，并將通過英特爾代工廠提供給外部客戶，不過英特爾并未透露更多關于這些網絡產品的細節。
英特爾全新 Gaudi 3 AI 加速器采用 5nm 工藝打造，FP8 性能是上一代產品的兩倍，BF16 性能是上一代產品的四倍，網絡帶寬是上一代產品的 2 倍，內存帶寬是上一代產品的 1.5 倍，并提供 Mezz 卡、板載和 PCIe 三種形態。
Gaudi 3 提供 64 個第五代張量處理核心和 8 個矩陣計算引擎，并搭載 128GB 速率達 3.7TB / s 的 HBM 內存和 96MB 速率達 12.8TB / s 的 SRAM。連接方面支持 24 條的 200GbE 符合 RoCE 標準的以太網總線以及最高 16 條 PCIe 5.0 總線。
板載版本 Gaudi 3 型號為 HLB-325，由八顆 Gaudi 3 Mezz 卡組成，提供 14.6PFLOPS FP8 性能，1TB 帶寬速率達 29.6TB / s 的 HBM2e 內存，64 個線性計算引擎，192 條 200GbE 網絡總線，9.6TB / s 吞吐能力。
PCIe 版本型號為 HL-338，提供單卡 1835TFLOPS FP8 峰值性能，128GB HBM2e 內存，8 個線性計算引擎，24 條 200GbE 網絡總線，600W TDP，整張卡占據兩卡槽高度。
Gaudi 3 單個節點（8 個 Gaudi 3 AI 加速器）可以提供 14.7PF FP8 計算性能，128GB 內存及 8.4TB / s 網絡讀寫速度；64 節點集群（512 個 Gaudi 3 AI 加速器）提供 940 PF FP8 計算性能，65.5TB 內存及 76.8TB / s 的網絡讀寫能力；512 節點集群（4096 個 Gaudi 3 AI 加速器）提供 7.52EF FP8 計算性能，525.3TB 內存及 614TB / s 網絡讀寫速度；1024 節點集群（8192 個 Gaudi 3 加速器）則提供 15EF FP8 計算性能，1PB 內存及 1.229PB/s網絡讀寫能力。
具體來看，英特爾 Gaudi 3 與主要的競品英偉達 H100 在相同節點數量下，相關大模型訓練時間對比上至高有 1.7 倍優勢，其中，LLAMA2 70 億參數對比有 1.5 倍于 H100 的優勢，LLAMA2 130 億參數最高有 1.7 倍的優勢，GPT 3 1750 億參數有 1.4 倍優勢。推理速度和能效表現上，Gaudi 3 相比于 H100 也有較大幅度提升。
軟件生態方面，英特爾 Gaudi 3 針對生成式 AI 提供端到端全棧 AI 軟件解決方案，包括嵌入式軟件、軟件套件、AI 軟件、AI 應用。
通過 Gaudi 3 可以支持基于還支持多模態、大語言模型、增強檢索生成核心能力的 3D 生成、文本生成、視頻圖片生成、內容總結、翻譯、問答、分級等常見 AI 功能。依靠豐富的 AI 軟件生態，Gaudi 3 也支持常見的 AI 框架庫、使用場景和工具，并對有代表性的模型進行支持。英特爾還提供 Gaudi 軟件套件，提供對底層硬件的支持。
英特爾在 Vision 2024 上也公布了 Gaudi 3 生產節點，2024 年一季度將率先推出風冷版樣品，二季度推出液冷版樣品，并在今年第三、第四季度分別批量交付風冷版和液冷版。Gaudi 3 將由戴爾、惠與、聯想和超微四家 OEM 提供。
在此基礎上，英特爾也宣布 Gaudi 3 今年下半年可在英特爾 Developer Cloud 獲得。除了英特爾 Gaudi 3 加速器之外，英特爾還提供了關于其在企業 AI 各個領域的下一代產品和服務的更新。
全新英特爾 Xeon 6 處理器作為英特爾全新品牌首次亮相，它主要針對生成式 AI 計算，Xeon 6 處理器包含高效核心 E-core 和性能核心 P-core。Xeon 6 E-core 代號 Sierra Forest，相比第二代英特爾 Xeon 處理器，性能每瓦提高 2.4 倍，并且機架密度提高 2.7 倍。對于英特爾的客戶而言，可以以接近 3 比 1 的比例替換老舊系統，大幅降低能耗，推動實現可持續發展目標。Xeon 6 P-core，代號 Granite Rapids，支持 MXFP4。
PC、邊緣端和連接方面，英特爾酷睿 Ultra 處理器 AI PC 產品作為生產力、安全性和內容創作的工具，預計今年將發貨 4000 萬臺 AI PC。除此之外，英特爾宣布了一系列新的邊緣芯片，涵蓋了英特爾酷睿 Ultra、英特爾酷睿、英特爾凌動處理器和英特爾 Arc GPU，目標市場包括零售、工業制造和醫療保健。這些新品將在本季度推出。
另外，英特爾計劃與 Ultra Ethernet Consortium 合作推出 AI 以太網解決方案，解決龐大數據量下 AI 大模型網絡問題。這一產品計劃將在 2026 年推出。
廣告聲明：文內含有的對外跳轉鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節省甄選時間，結果僅供參考，所有文章均包含本聲明。
總結
以上是生活随笔為你收集整理的英特尔发布 Gaudi 3 AI 芯片：性能超越英伟达 H100，第三季度上市的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 降价策略奏效：美造车新势力 Lucid
- 下一篇： 网易互娱运营中心已成立暴雪国服团队，去年