Xilinx暑期學(xué)校項目—基于Ultra96_v2實現(xiàn)交通標示識別

項目地址

項目Github地址

概述

本項目通過構(gòu)建一個輕量化神經(jīng)網(wǎng)絡(luò)在Ultra96_v2上完成網(wǎng)絡(luò)的前向計算過程，通過對網(wǎng)絡(luò)進行量化減少參數(shù)量與計算量，使之便于部署到嵌入式設(shè)備中。利用FPGA并行化、流水化的優(yōu)勢，提高檢測的實時性。項目的主要工作如下：

用Pytorch搭建所需網(wǎng)絡(luò)并進行訓(xùn)練，并按照硬件需求完成網(wǎng)絡(luò)的參數(shù)量化工作，生成HLS所需的權(quán)重參數(shù)文件。網(wǎng)絡(luò)的權(quán)重和激活均為4bit數(shù)。

借鑒已經(jīng)開源的HLS網(wǎng)絡(luò)各模塊的加速設(shè)計，網(wǎng)絡(luò)中各模塊均為可重復(fù)調(diào)用的模板類。在HLS工具中對網(wǎng)絡(luò)中最重要的卷積模塊進行加速，包括Padding單元，滑窗單元、矩陣向量乘法單元和激活單元進行優(yōu)化與加速。全程使用Stream型數(shù)據(jù)在模塊之間傳輸數(shù)據(jù)，便于添加DATAFLOW優(yōu)化指令，同時對數(shù)組進行切分，對循環(huán)進行流水，引入輸入并行度、輸出并行度、流數(shù)據(jù)的位寬轉(zhuǎn)換等方式充分利用板上資源對前向計算進行加速，提高計算并行度。

搭建Block Design，生成Bitstream，并在Jupyter Notebook上進行IP的調(diào)用與驗證。

系統(tǒng)框圖

Bolck Design

性能參數(shù)

網(wǎng)絡(luò)結(jié)構(gòu)

本項目的輕量化網(wǎng)絡(luò)共包含5個3×3卷積層、5個BN層、5個最大池化層和1個1×1卷積模塊(代替全連接層)，輸入圖片尺寸為128*128，權(quán)重和激活均為4bit整數(shù)。

性能指標

在網(wǎng)絡(luò)的訓(xùn)練過程中，該輕量化網(wǎng)絡(luò)的識別精度為92%。

在Ultra96_v2的交通標示識別過程中，識別一張圖片平均用時0.003s，可達316的FPS，實現(xiàn)了較好的加速效果。

心得總結(jié)

網(wǎng)絡(luò)訓(xùn)練過程

分類問題中，數(shù)據(jù)的Label需轉(zhuǎn)換成OneHot格式，否則無法進行訓(xùn)練。Lable轉(zhuǎn)換為OneHot格式參考：https://blog.csdn.net/qq_33345917/article/details/86564692

訓(xùn)練過程中數(shù)據(jù)的排列順序需重組，與硬件方面的計算順序保持一致。

可保存網(wǎng)絡(luò)訓(xùn)練好的參數(shù)，下次訓(xùn)練時Load該參數(shù)并在此基礎(chǔ)上繼續(xù)進行訓(xùn)練。

網(wǎng)絡(luò)的量化部分目前借鑒已開源的量化方式，實現(xiàn)細節(jié)仍需繼續(xù)探究。

HLS部署過程

定義流類型數(shù)據(jù)位寬時，兩個“>>”不能連寫，中間需加空格，否則HLS識別不出來。

日后需學(xué)習(xí)在其他編譯器進行HLS代碼的調(diào)試，HLS工具不太便于代碼的調(diào)試。

暑期學(xué)校總結(jié)

我們在本次Xilinx暑期學(xué)校項目中努力著，收獲著。通過暑期學(xué)校的學(xué)習(xí)和項目工程的實踐，我們了解了FPGA的開發(fā)流程，掌握了HLS工具的使用方法，鍛煉了解決問題與團隊協(xié)作的能力，學(xué)習(xí)了更多的渠道以幫助項目的開發(fā)，交到了很多志同道合的朋友。前期學(xué)習(xí)的過程中，老師的課程配合Labs實踐，我們學(xué)以致用，加深對概念的理解。

后期的項目開發(fā)中，我們遇到了很多難點，如未接觸過網(wǎng)絡(luò)的訓(xùn)練工作、卷積層輸出數(shù)據(jù)與預(yù)期不一致、參數(shù)的量化與導(dǎo)出、網(wǎng)絡(luò)瓶頸的分析等，在我們一系列的學(xué)習(xí)和討論下，同時在老師們的指導(dǎo)下，我們慢慢解決了這些問題，實現(xiàn)了基本的交通標示識別功能，達到了較高的幀率。

2020注定是不凡的一年，一場突如其來的疫情打破了寧靜與美好。但2020這段夏日，我們攜手在XILINX暑期學(xué)校中完成培訓(xùn)與項目開發(fā)這一路相伴的時光，是今年給我們留下最美的風(fēng)景。

Reference

spooNN
Pytorch入門
Xilinx中國
Ultra96入門

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的Ultra96_v2实现交通标示识别的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。