稀疏性如何為AI推理增加難度
NVIDIA Ampere架構(gòu)使數(shù)學(xué)運(yùn)算加倍，以加速對(duì)各種神經(jīng)網(wǎng)絡(luò)的處理。

如果曾經(jīng)玩過游戲Jenga，那么將有一些AI稀疏感。
玩家將木制積木交叉成一列。然后，每個(gè)玩家輪流小心地移開一個(gè)障礙物，而不會(huì)傾倒立柱。
它從一開始就很容易，但是變得越來越毛茸茸，直到失敗的玩家拔出一個(gè)障礙物，導(dǎo)致塔樓墜毀。
多年來，研究人員一直在努力地利用數(shù)字打積木，以利用稀疏性來加速AI。他們嘗試從神經(jīng)網(wǎng)絡(luò)中提取盡可能多的不需要的參數(shù)-而不破壞AI的超高精度。
目標(biāo)是減少深度學(xué)習(xí)所需的矩陣乘法堆，從而縮短達(dá)到良好結(jié)果的時(shí)間。到目前為止，還沒有大贏家。
迄今為止，研究人員已經(jīng)嘗試了多種技術(shù)來提取神經(jīng)網(wǎng)絡(luò)中多達(dá)95％的權(quán)重。但是隨后，他們花了比他們節(jié)省的時(shí)間更多的時(shí)間，不得不采取激進(jìn)的步驟來彌補(bǔ)簡(jiǎn)化模型的準(zhǔn)確性。適用于一種模型的步驟不適用于其他模型。
數(shù)字稀疏
NVIDIA安培架構(gòu)引入了第三代張量磁芯在NVIDIA A100的GPU稱取在網(wǎng)絡(luò)權(quán)細(xì)粒度稀疏的優(yōu)點(diǎn)。提供了高達(dá)2倍的密集數(shù)學(xué)最大吞吐量，而不會(huì)犧牲深度學(xué)習(xí)的核心矩陣乘法累加作業(yè)的準(zhǔn)確性。
測(cè)試表明，這種稀疏方法在許多AI任務(wù)（包括圖像分類，目標(biāo)檢測(cè)和語言翻譯）中使用密集數(shù)學(xué)來維持方法的準(zhǔn)確性。它也已經(jīng)在卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)以及基于注意力的轉(zhuǎn)換器上進(jìn)行了測(cè)試。

A100打包了稀疏矩陣以加速AI推理任務(wù)。
內(nèi)部數(shù)學(xué)運(yùn)算速度的提高對(duì)應(yīng)用程序級(jí)別具有重大影響。使用稀疏性，A100 GPU可以運(yùn)行BERT（來自轉(zhuǎn)換的雙向編碼器表示），這是用于自然語言處理的最新模型，比密集型數(shù)學(xué)要快50％。
NVIDIA Ampere架構(gòu)利用了神經(jīng)網(wǎng)絡(luò)中較小值的普遍性，從而使盡可能廣泛的AI應(yīng)用程序受益。具體來說，定義了一種訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方法，該方法可以去除一半的權(quán)重，即所謂的50％稀疏度。
當(dāng)做對(duì)時(shí)，少即是多
一些研究人員使用粗粒度剪枝技術(shù)，這些技術(shù)會(huì)從神經(jīng)網(wǎng)絡(luò)層中刪除整個(gè)通道，從而經(jīng)常降低網(wǎng)絡(luò)的準(zhǔn)確性。NVIDIA Ampere架構(gòu)中的方法采用結(jié)構(gòu)化的稀疏性和細(xì)粒度的剪枝技術(shù)，不會(huì)明顯降低準(zhǔn)確性，用戶在重新訓(xùn)練模型時(shí)可以進(jìn)行驗(yàn)證。
適當(dāng)剪枝網(wǎng)絡(luò)后，A100 GPU將自動(dòng)完成其余工作。
A100 GPU中的Tensor Core有效壓縮稀疏矩陣以啟用適當(dāng)?shù)拿芗瘮?shù)學(xué)。跳過矩陣中實(shí)際上是零值位置的位置會(huì)減少計(jì)算量，節(jié)省功耗和時(shí)間。壓縮稀疏矩陣還可以減少寶貴的內(nèi)存和帶寬的使用。

總結(jié)

以上是生活随笔為你收集整理的稀疏性如何为AI推理增加难度的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。