Xilinx暑期學校項目—基于Ultra96_v2實現交通標示識別

項目地址

項目Github地址

概述

本項目通過構建一個輕量化神經網絡在Ultra96_v2上完成網絡的前向計算過程，通過對網絡進行量化減少參數量與計算量，使之便于部署到嵌入式設備中。利用FPGA并行化、流水化的優勢，提高檢測的實時性。項目的主要工作如下：

用Pytorch搭建所需網絡并進行訓練，并按照硬件需求完成網絡的參數量化工作，生成HLS所需的權重參數文件。網絡的權重和激活均為4bit數。

借鑒已經開源的HLS網絡各模塊的加速設計，網絡中各模塊均為可重復調用的模板類。在HLS工具中對網絡中最重要的卷積模塊進行加速，包括Padding單元，滑窗單元、矩陣向量乘法單元和激活單元進行優化與加速。全程使用Stream型數據在模塊之間傳輸數據，便于添加DATAFLOW優化指令，同時對數組進行切分，對循環進行流水，引入輸入并行度、輸出并行度、流數據的位寬轉換等方式充分利用板上資源對前向計算進行加速，提高計算并行度。

搭建Block Design，生成Bitstream，并在Jupyter Notebook上進行IP的調用與驗證。

系統框圖

Bolck Design

性能參數

網絡結構

本項目的輕量化網絡共包含5個3×3卷積層、5個BN層、5個最大池化層和1個1×1卷積模塊(代替全連接層)，輸入圖片尺寸為128*128，權重和激活均為4bit整數。

性能指標

在網絡的訓練過程中，該輕量化網絡的識別精度為92%。

在Ultra96_v2的交通標示識別過程中，識別一張圖片平均用時0.003s，可達316的FPS，實現了較好的加速效果。

心得總結

網絡訓練過程

分類問題中，數據的Label需轉換成OneHot格式，否則無法進行訓練。Lable轉換為OneHot格式參考：https://blog.csdn.net/qq_33345917/article/details/86564692

訓練過程中數據的排列順序需重組，與硬件方面的計算順序保持一致。

可保存網絡訓練好的參數，下次訓練時Load該參數并在此基礎上繼續進行訓練。

網絡的量化部分目前借鑒已開源的量化方式，實現細節仍需繼續探究。

HLS部署過程

定義流類型數據位寬時，兩個“>>”不能連寫，中間需加空格，否則HLS識別不出來。

日后需學習在其他編譯器進行HLS代碼的調試，HLS工具不太便于代碼的調試。

暑期學校總結

我們在本次Xilinx暑期學校項目中努力著，收獲著。通過暑期學校的學習和項目工程的實踐，我們了解了FPGA的開發流程，掌握了HLS工具的使用方法，鍛煉了解決問題與團隊協作的能力，學習了更多的渠道以幫助項目的開發，交到了很多志同道合的朋友。前期學習的過程中，老師的課程配合Labs實踐，我們學以致用，加深對概念的理解。

后期的項目開發中，我們遇到了很多難點，如未接觸過網絡的訓練工作、卷積層輸出數據與預期不一致、參數的量化與導出、網絡瓶頸的分析等，在我們一系列的學習和討論下，同時在老師們的指導下，我們慢慢解決了這些問題，實現了基本的交通標示識別功能，達到了較高的幀率。

2020注定是不凡的一年，一場突如其來的疫情打破了寧靜與美好。但2020這段夏日，我們攜手在XILINX暑期學校中完成培訓與項目開發這一路相伴的時光，是今年給我們留下最美的風景。

Reference

spooNN
Pytorch入門
Xilinx中國
Ultra96入門

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的Ultra96_v2实现交通标示识别的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。