軟件工具將GPU代碼遷移到fpga以用于AI應用

Software tools migrate GPU code to FPGAs for AI applications

人工智能軟件初創公司Mipsology正與Xilinx合作，使fpga能夠僅使用一個額外的命令就可以替換AI加速器應用程序中的gpu。Mipsology的“zero effort零努力”軟件Zebra將GPU代碼轉換為在FPGA上運行Mipsology的AI計算引擎，而無需進行任何代碼更改或重新培訓。
Xilinx今天宣布，它將為Zebra運送最新版本的Alveo U50卡。Zebra已經在其他Xilinx板上支持推理加速，包括Alveo U200和Alveo U250。

The latest build of Xilinx’ Alveo U50 data center accelerator card now comes with Mipsology’s Zebra software for conversion of GPU AI code to run on FPGAs

“Zebra為我們的Alveo卡帶來的加速水平讓CPU和GPU加速器相形見絀，”Xilinx市場副總裁Ramine Roane說。“與Zebra相結合，Alveo U50滿足了AI工作負載的靈活性和性能需求，并為任何部署提供了高吞吐量和低延遲性能優勢。”

Plug-and-play即插即用

FPGA歷來被視為非專業人士難以編程，但Mipsology希望將FPGA打造成一種即插即用解決方案，與CPU或GPU一樣易于使用。其目的是盡可能容易地從其他類型的加速轉換到FPGA。

Mipsology首席執行官拉祖爾（Ludovic Larzul）在接受《電子時報》（EE Times）采訪時表示：“了解（Mipsology）的最佳方法是，我們在FPGA上安裝軟件，使其透明，就像Nvidia為AI用戶打造的Cuda
CuDNN一樣。”。

關鍵的是，這可以由非專家完成，不需要深厚的人工智能專業知識或FPGA技能，因為轉換不需要模型再培訓。

拉祖爾說：“易用性非常重要，因為當你看到人們的人工智能項目時，他們通常無法接觸到設計神經網絡的人工智能團隊。”。“一般來說，如果有人建立了一個機器人系統，或者視頻監控系統……他們會有其他團隊或其他團體開發并訓練神經網絡。一旦他們得到（經過訓練的模型），他們就不想改變它，因為他們沒有專業知識。”

Zebra’s stack. The technology is applicable across data center, edge and embedded applications

Versus Vitis

既然Xilinx已經有了一個全面的解決方案，讓數據科學家和軟件開發人員（即Vitis）都可以訪問fpga，那么為什么Xilinx還要支持第三方軟件呢？

拉祖爾說：“一句話的意思是：我們做得更好。”。“另一句話就是：我們的作品。”

Mipsology不使用Vitis的任何部分，也不以任何方式與之聯系，也不使用XDNN，Xilinx的神經網絡加速器引擎。Mipsology在Zebra中有自己的計算引擎，支持客戶現有的卷積神經網絡（CNN）模型，不像XDNN那樣，Larzul說XDNN支持大量演示，但不太適合定制神經網絡。他說，這使得使用XDNN建立和運行自定義網絡變得“痛苦”。雖然XDNN可以在沒有GPU威脅的應用程序中競爭，但Zebra的目標是使FPGA能夠基于性能、成本和易用性迎頭趕上GPU。

Zebra’s stack in detail. The aim is to make FPGAs a simpler switch from GPUs or CPUs for AI acceleration by hiding the hardware as much as possible

拉祖爾說，大多數客戶改變GPU解決方案的動機是成本。

他說：“他們想降低硬件成本，但又不想重新設計神經網絡。”。“有一個非經常性的成本（這是避免的），因為我們能夠透明地替換GPU，而且不需要重新訓練或修改神經網絡。”

根據Larzul的說法，fpga還提供了可靠性，部分原因是它們在硅不動產上的攻擊性較小，而且通常比其他類型的加速器（包括gpu）運行得更冷。這對于長期維護成本很高的數據中心尤其重要。

拉祖爾說：“總擁有成本不僅僅是董事會的價格。“確保系統正常運行也是要付出代價的。”

Zebra也致力于使FPGA在性能上具有競爭力。Larzul說，雖然FPGA通常比其他加速器提供更少的top（每秒tera操作），但由于Zebra精心設計的計算引擎，它們能夠更有效地使用這些top。

他們說的是，他們不是在用一個更大的芯片來加速芯片的速度，而是用一個更大的芯片來加速6倍于頂部的數量。

這是如何實現的？雖然Larzul沒有給出確切的細節，但他確實表示，他們不依賴于剪枝，因為準確度的降低太大了，不經過再培訓是無法接受的。出于同樣的原因，它們不使用極端量化（低于8位）。

Zebra的引擎加速了CNN，而CNN目前主要用于圖像和視頻處理應用，但Zebra也可以應用于BERT（谷歌的自然語言處理模型），后者使用類似的數學概念。Zebra的未來迭代可能會覆蓋其他類型的神經網絡，包括LSTM（長短期記憶）和RNNs（遞歸神經網絡），但這是很難實現的，因為rnn在數學上更加多樣化。

Team from EVE

Mipsology成立于2015年，約有30人在法國從事研發工作，在加州有一個小團隊主要負責業務開發。該公司已獲得總額700萬美元的資金，其中200萬美元是2019年法國政府創新競賽的獎金。

Mipsology的核心團隊來自EVE——Synopsys于2012年收購的一家ASIC仿真器公司，該公司生產ZeBu（零缺陷）硬件輔助驗證產品，當時是Cadence鈀驗證平臺的競爭對手。據Larzul稱，幾乎所有主要的ASIC公司都使用EVE技術在設計周期內驗證ASIC；這項技術依賴于連接在一起的數千個fpga來重現ASIC的行為。

Mipsology有12項專利正在申請中，與Xilinx密切合作，并兼容第三方加速卡，如Western Digital small-form factor（SFF U.2）卡和Advantech卡（如Vega-4001）。

總結

以上是生活随笔為你收集整理的软件工具将GPU代码迁移到fpga以用于AI应用的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。