NVIDIA安倍架構

NVIDIA Ampere ArchitectureNVIDIA

The Heart of the World’s
Highest-Performing, Elastic Data Centers

一．現代數據中心中AI和HPC的核心

科學家、研究人員和工程師我們這個時代的達芬奇和愛因斯坦正致力于用人工智能和高性能計算（HPC）解決世界上最重要的科學、工業和大數據挑戰。與此同時，企業甚至整個行業都在尋求利用人工智能的力量，從海量數據集中（包括內部和云中）獲取新的見解。NVIDIA安培架構是為彈性計算時代而設計的，它提供了下一個巨大的飛躍，在每一個尺度上都提供了無與倫比的加速，使這些創新者能夠完成他們一生的工作。

二．突破性創新

英偉達安培芯片由540億個晶體管制成，是有史以來最大的7納米（nm）芯片，具有六項關鍵的突破性創新。

第三代張量核

第一次在英偉達伏特加引入? NVIDIA Tensor核心技術為人工智能帶來了驚人的加速，將訓練時間從幾周縮短到幾小時，并為推理提供了巨大的加速。NVIDIA安培架構在這些創新的基礎上，引入了新的精度張量浮點（TF32）和浮點64（FP64），以加速和簡化AI的采用，并將張量核的能力擴展到HPC。

TF32的工作原理和FP32一樣，同時為AI提供高達20倍的加速，而不需要任何代碼更改。使用NVIDIA自動混合精度，研究人員可以獲得額外的2倍的性能與自動混合精度和FP16只添加幾行代碼。在支持bfloat16、INT8和INT4的情況下，NVIDIA A100張量核心gpu中的張量核心為人工智能訓練和推理創建了一個極其通用的加速器。把張量核的能力帶給HPC，A100還可以實現矩陣運算的完整性，IEEE認證，FP64精度。

三．多實例GPU（MIG）

每個AI和HPC應用程序都可以從加速中受益，但并不是每個應用程序都需要一個完整的A100 GPU的性能。使用MIG，每個A100可以被劃分為多達7個GPU實例，在硬件級別完全隔離和安全，并具有自己的高帶寬內存、緩存和計算核心?，F在，開發人員可以訪問所有應用程序的突破性加速，無論大小，并獲得有保證的服務質量。IT管理員可以提供適當大小的GPU加速以實現最佳利用率，并在裸機和虛擬化環境中擴展對每個用戶和應用程序的訪問。

四．第三代NVLink

跨多個GPU擴展應用程序需要非常快速的數據移動。A100中的第三代NVIDIA?NVLink?將GPU到GPU的直接帶寬提高了一倍，達到每秒600千兆字節（GB/s），幾乎比PCIe Gen4高出10倍。與最新一代NVIDIA NVSwitch搭配使用時?，服務器中的所有gpu都可以以NVLink的全速相互通信，以實現難以置信的快速數據傳輸。

英偉達DGX? A100和其他領先計算機制造商的服務器通過NVIDIA HGX利用NVLink和NVSwitch技術? 100個基板，為HPC和AI工作負載提供更大的可擴展性。

五．結構稀疏性

現代的人工智能網絡越來越大，擁有數百萬甚至數十億個參數。并不是所有這些參數都需要精確的預測和推斷，有些參數可以轉換為零，使模型“稀疏”而不影響精度。A100中的張量核可以為稀疏模型提供高達2倍的性能。稀疏性特征有利于人工智能推理，同時也可以用來提高模型訓練的性能。

六．更智能、更快的內存

A100正在給數據中心帶來大量的計算。為了保持這些計算引擎的充分利用，它擁有一流的每秒1.6兆字節（TB/秒）的內存帶寬，比上一代增加了67%。此外，A100的片上內存顯著增加，包括一個40兆字節（MB）的2級緩存，比上一代大7倍，以最大限度地提高計算性能。

七．邊緣收斂加速度

NVIDIA安培架構與NVIDIA Mellanox的ConnectX-6dx智能網卡在NVIDIA
EGX中的結合? A100帶來了前所未有的計算和網絡加速能力，可以處理邊緣產生的大量數據。Mellanox SmartNIC包括安全卸載，可以高達200千兆比特/秒（Gb/s）的線速率解密和GPUDirect?
它將視頻幀直接傳輸到GPU存儲器中進行人工智能處理。有了EGX A100，企業可以更安全、更高效地加速邊緣的AI部署。

總結

以上是生活随笔為你收集整理的NVIDIA安倍架构的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。