---

? 視學算法報道??

編輯：武穆

【導讀】NVIDIA H100 Tensor Core GPU在MLPerf行業標準AI基準測試中首次亮相，創下了所有工作負載推理的世界紀錄，提供的性能比上一代GPU高4.5 倍。

不久前，英偉達公布了旗下的芯片，在MLPerf行業標準AI基準測試的結果。

根據英偉達的說法，H100（又名 Hopper），提高了所有六個神經網絡在每個加速器上的表現標準，比上一代的A100，性能高了4.5倍，創造了所有工作負載推斷的世界紀錄。

所謂的推理，不同于機器學習 (ML)。

機器學習是創建訓練模型并讓系統「學習」的，而推理是用于在一系列數據點上運行學習模型，并獲得結果。

英偉達認為，這個測試結果確立了H100在單獨服務器和離線場景下的吞吐量和速度方面的領先地位，如果用戶想要最高性能的高級AI模型，H100是首選。

英偉達為何看重MLPerf測試的結果

MLPerf是一個行業標準基準系列，由圖靈獎得主大衛·帕特森（David Patterson）聯合谷歌、英偉達 、英特爾、Meta、浪潮等全球AI領軍企業，以及來自哈佛大學、斯坦福大學等學術機構的研究人員創立。

MLPerf可為各種工作負載建模，包括自然語言處理、語音識別、圖像分類、醫學成像和物體檢測等項目。

該基準測試很有用，因為它可以跨越從高端數據中心和云的機器到小規模的邊緣計算系統，并且可以為各個供應商的產品提供一致的基準測試，哪怕并非所有子測試中的基準測試都由所有測試人員運行。

它還可以創建用于運行離線、單流或多流測試的場景，這些測試創建一系列 AI 功能來模擬完整工作流管道的真實示例（例如，語音識別、自然語言處理、搜索和推薦、文本轉語音等）。

雖然許多廠商認為只運行部分測試(ResNet是最常見的)的結果，是芯片性能的有效指標，比完整的MLPerf更適用。

比如，在上面的圖表中也能看到，許多被比較的芯片在MLPerf的其他組件中沒有測試結果，因為廠商根本不打算測。

但MLPerf測試依然被業界廣泛接受，如果能在MLPerf測試中取得不錯的成績，很少有人會質疑結果的準確性和權威性。

英偉達在市場上還處于領先地位嗎？

此次，對于在MLPerf測試中取得的結果，英偉達還是比較滿意的。

這意味著，很可能在今年年底之前，英偉達就會首次公開演示H100 GPU。

而且，H100 GPU將參與未來的MLPerf輪次進行訓練。

H100能取得如此不俗的表現，部分要歸功于英偉達的Transformer Engine。

Transformer Engine使用軟件和定制的NVIDIA Hopper Tensor Core技術，旨在加速對由流行的AI模型構建塊變壓器構建的模型的訓練。

這些張量核心可以應用混合的FP8和FP16格式，以顯著加速變壓器的AI計算，這種加速有時是數量級的提升，從而最適合手頭的任務。

Transformer Engine這樣的工具，帶來的優勢是顯而易見的：開發人員能夠專注于解決方案，而不是試圖為沒有相應平臺的系統進行低級硬件和相關代碼優化。

更重要的是，Transformer Engine這樣的工具，體現了英偉達的真正優勢——平臺方法。

英偉達的許多競爭對手，雖然能為市場提供芯片或系統，但英偉達已經建立了一個強大的生態系統，包括芯片，相關硬件以及針對其芯片和系統優化的完全穩定的軟件和開發系統。

用英偉達方面的話說，本輪MLPerf測試上，有70多份參賽作品在NVIDIA平臺上運行，例如，Microsoft Azure提交了在其云服務上運行NVIDIA AI的結果。

這表明，NVIDIA AI得到了業界最廣泛的機器學習生態系統的支持。

事實上，英偉達的競爭對手英特爾以及高通都強調了平臺方法。

而初創公司通常只支持開源選項，這些選項可能與主要供應商提供的功能水平不同。

此外，英偉達還針對特定細分市場優化了框架，為解決方案提供商提供了一個有價值的起點，使解決方案提供商能夠以更少的工作量實現更快的上市時間。

而初創AI芯片供應商無法提供這種級別的資源。

當然，英偉達并非沒有弱點。

比如，雖然英偉達展示了其芯片與標準英特爾x86處理器的比較，但它沒有與英特爾新的Habana Gaudi 2芯片進行比較。

而Habana Gaudi 2芯片可能會顯示出高水平的人工智能計算能力，可以接近或超過一些英偉達產品。

另外，英偉達可能不是所有細分市場的NO.1，特別是在低功耗細分市場，像高通這樣的公司可能具有優勢。

不過，盡管如此，由于英偉達仍然提供最廣泛的產品系列，其對完整平臺生態系統的重視，使其在人工智能競賽中處于領先地位，并且競爭對手很難輕易取代。

參考資料：

https://venturebeat.com/ai/what-nvidias-new-mlperf-ai-benchmark-results-really-mean/?

https://blogs.nvidia.com/blog/2022/09/08/hopper-mlperf-inference/

點個在看 paper不斷！

總結

以上是生活随笔為你收集整理的比A100性能高4.5倍！英伟达H100横扫AI推理基准测试的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。