目錄結構

1、背景介紹

2、數據采集

3、網絡設計

4、網絡訓練

5、網絡部署

6、總結

?

1、背景介紹

最近采購了一塊新的樹莓派，迫不及待的想要在樹莓派上實現一個實時的手勢識別。從算法的角度講，并不是太難；但是從工程的角度來說，主要有兩個難點，一是手勢數據的采集。大家都知道，深度學習的高精度離不開大量的訓練數據，網絡設計的再好，沒有足夠的數據是不行的。因此要想實現一個好的手勢識別，采集數據就成了一個比較重要的難點；另外一個難點是如何在樹莓派上實現實時的識別。樹莓派實際上是一個使用arm作為處理器的linux系統，但是由于芯片的性能不是很強，比我們使用的手機要弱很多，并且樹莓派目前對vulkan的支持并不好，無法使用vulkan加速，因此對網絡的優化也是一個難點。要保證網絡優化后的精度不能下降太多，但計算量必須要下降很多。?這次就從這兩個角度出發，實現一套實時的手勢識別。關注公眾號"DL工程實踐"，后臺回復“手勢識別”四個字，就會自動獲取所有源碼的下載地址。由于手勢的類型非常多，有識別數字的，識別字母的，識別動作的，這里為了拋磚引玉，設計一個相對簡單的識別"剪刀，石頭，布"的手勢識別系統，后續可以用來制作一個剪刀石頭布的對戰機器人。想要實現其他類型的手勢識別，也完全可以按照這個流程來做。

?

2、數據采集

對于數據采集，首先看看有沒有開源的手勢識別數據集。很遺憾，除了收費的手勢識別數據集，基本上都是一些不太完整的手勢識別數據集。因此我們需要自己采集。工欲善其事必先利其器，自己采集就得有一些比較好的數據采集工具。這里我設計了一款數據采集工具（關注公眾號"DL工程實踐"，后臺回復“手勢識別”四個字，可獲取）。大家也可以根據自己的需要開發自己的數據采集工具。其實本質上并不難，使用pyqt+opencv很容易就能開發一個順手的數據采集工具。由于基于python開發，所以移植性非常好，既可以在windows下使用，也可以在linux，樹莓派上使用。我設計的這個界面非常簡潔，如下圖所示：

?

opencv會調用camera開始預覽，然后設置一下保存路徑，保存標簽，點擊保存圖片，就可以按照設置的保存間隔進行采集數據。例如默認的保存間隔為30，即30幀保存一張圖片，相當于1秒鐘保存一張，如果想要頻率快一些，就將保存間隔設置的小一點。下面的視頻展示了數據采集工具的采集過程，為了展示效果，我把保存間隔設置為了60幀，大約2秒保存一張圖片。

視頻插不進來，有興趣的關注“DL工程實踐”查看。

我把剪刀的標簽設置為0，石頭的標簽設置為1，布的標簽設置為2，最終通過該數據收集工具就收集到了三個文件夾：

接下來需要為訓練數據創建標簽文本。這里我將所有圖片的80%作為訓練數據數據集，剩余的20%作為驗證數據集。使用python腳本很容易實現自動創建標簽文件的腳本，代碼如下：

import os import random ? MAX_LABEL=3 #類別的種類數目 ? label_list=[] for label in range(0,MAX_LABEL+1):for file in os.listdir(str(label)):label_list.append(str(label)+'/' + str(file) + ' ' + str(label)) random.shuffle(label_list) #對列表進行shuffle操作 count = len(label_list) train_count = int(count * 0.8) # 80%作為訓練數據集 train_list = label_list[0:train_count] test_list = label_list[train_count:] print('total count=%d train_count=%d test_count=%d'%(count, train_count, count-train_count)) # 寫入train.txt標簽文件 with open('train.txt', 'w') as f:for line in train_list:f.write(line + '\r') # 寫入test.txt標簽文件 with open('test.txt', 'w') as f:for line in test_list:f.write(line + '\r')

?

3、網絡設計

完成了數據收集，那么就可以開始為手勢識別系統設計一個網絡了。由于需要在樹莓派這樣的低性能硬件上面運行CNN，那么可以考慮從輕量級網絡中選擇一個來進行優化。例如google的mobilenet系列，efficient lite系列，曠世的shufflenet系列，華為的ghostnet等。那這些模型如何選擇呢？我之前有一篇關于這些輕量級的模型的評測，有興趣的可以去看看，《誰才是輕量級CNN的王者？7個維度全面評測mobilenet/shufflenet/ghostnet》，通過之前的評測，我發現shufflenetv2在精度和推理延時上面有一個很好的平衡，因此我選擇了shufflenetv2作為手勢識別系統的基礎網絡。直接使用shufflenetv2雖然能夠在樹莓派上較為流暢的運行，但是還達不到實時的效果，因此需要對shufflentv2進行一些優化，主要是為了降低計算量，并且能夠盡量保持精度。降低計算量可以從如下幾個方面考慮：

降低shufflenet的通道系數

shufflenetv1/v2在設計之初，本身就考慮了應用在不同的資源設備上，因此設置了一個通道系數，直接調整該通道系數，就可以獲得更小計算量的模型。然而通過實際測試，直接將通道系數從1.0x降低為0.5x，在降低計算量的同時，也會對精度損失較大。因此不采用該方案。

降低輸入分辨率

shufflenet的原始輸入分辨率為224*224，如果將分辨率降低x，那么計算量將降低x^2，因此收益很大。但是通過測試發現，直接將分辨率降低，對精度的影響也會很大。所以也不采用降低分辨率的方案。

裁剪shufflenetv2不重要的1*1卷積

通過觀察shufflenet的block，可以分為兩種結構，一種是每個stage的第一個block，該block由于需要降采樣，升維度，所以對輸入直接復制成兩份，經過branch1,和branch2之后再concat到一起，通道翻倍，如下圖中的降采樣block所示。另外一種普通的block將輸入split成兩部分，一部分經過branch2的卷積提取特征后直接與branch1的部分進行concat。如下圖中的普通block所示：

一般在DW卷積（depthwise卷積）的前或后使用1*1的卷積處于兩種目的，一種是融合通道間的信息，彌補dw卷積對通道間信息融合功能的缺失。另一種是為了降維升維，例如mobilenet v2中的inverted reddual模塊。而shufflenet中的block，在branch2中用了2個1*1卷積，實際上有一些多余，因為此處不需要進行升維降維的需求，那么只是為了融合dw卷積的通道間信息。實際上有一個1*1卷積就夠了。因此將上述紅色虛線框中的1*1卷積核刪除。經過測試，精度幾乎不降低，計算量卻下降了30%。因此裁剪1*1的卷積核將是一個不錯的方法。

加入CSP模塊

csp在大型網絡上取得了很大的成功。它在每個stage，將輸入split成兩部分，一部分經過原來的路徑，另一部分直接shortcut到stage的尾部，然后concat到一起。這既降低了計算量，又豐富了梯度信息，減少了梯度的重用，是一個非常不錯的trip。在yolov4，yolov5的目標檢測中，也引入了csp機制，使用了csp_darknet。此處將csp引入到shufflenet中。并且對csp做了一定的精簡，最終使用csp stage精簡版本作為最終的網絡結構。

經過測試，網絡雖然能大幅降低計算量，但是精度降低的也很明顯。分析原因，主要有兩個，一是shufflenetv2本身已經使用了在輸入通道split，然后concat的blcok流程，與csp其實是一樣的，只是csp是基于一個stage，shufflenetv2是基于一個block，另外csp本來就是在densenet這種密集連接的網絡上使用有比較好的效果，在輕量級網絡上不見得效果會好。

因此最終將網絡設計為基于shufflenetv2 1.0x，并精簡了多余的1*1卷積的版本，命名為：shufflenetv2_liteconv版本。（關注公眾號"DL工程實踐"，后臺回復“手勢識別”四個字，可獲取）

?

4、網絡訓練

收集好了數據，并且也設計好了網絡，那么接下來就是訓練了?；趐ytroch，大家可以很方便的編寫出一個簡單的訓練流程。這里我選擇從0開始訓練，沒有使用shufflenet v2 1.0x的預訓練模型，因為我們對shufflenet做了優化，刪除了很多1*1的conv，直接使用預訓練模型會不匹配，因此從0開始訓練。學習率可以適當的放大一些，epoch數目可以適當大一些。我把我的訓練超參貼出來，大家可以參考使用：

訓練epoch：60

初始學習率：0.01

學習率策略：multistep（35，40）

優化器：moment sgd

weight decay：0.0001

最終在訓練完50個epoch之后，loss大約為0.1，測試集上面的精度為0.98。

?

5、網絡部署

網絡部署可以采用很多開源的推理庫。例如mnn，ncnn，tnn等。這里我選擇使用ncnn，因為ncnn開源的早，使用的人多，網絡支持，硬件支持都還不錯，關鍵是很多問題都能搜索到別人的經驗，可以少走很多彎路。但是遺憾的是ncnn并不支持直接將pytorch模型導入，需要先轉換成onnx格式，然后再將onnx格式導入到ncnn中。另外注意一點，將pytroch的模型到onnx之后有許多膠水op，這在ncnn中是不支持的，需要使用另外一個開源工具：onnx-simplifier對onnx模型進行剪裁，然后再導入到ncnn中。因此整個過程還有些許繁瑣，為了簡單，我編寫了從"pytorch模型->onnx模型->onnx模型精簡->ncnn模型"的轉換腳本，方便大家一鍵轉換，減少中間過程出錯。我把主要流程的代碼貼出來（詳細的代碼請關注公眾號"DL工程實踐"，后臺回復“手勢識別”四個字，可獲取）

# 1、pytroch模型導出到onnx模型 torch.onnx.export(net,input,onnx_file,verbose=DETAIL_LOG) # 2、調用onnx-simplifier工具對onnx模型進行精簡 cmd = 'python -m onnxsim ' + str(onnx_file) + ' ' + str(onnx_sim_file) ret = os.system(str(cmd)) # 3、調用ncnn的onnx2ncnn工具，將onnx模型準換為ncnn模型 cmd = onnx2ncnn_path + ' ' + str(new_onnx_file) + ' ' + str(ncnn_param_file) + ' ' + str(ncnn_bin_file) ret = os.system(str(cmd)) # 4、對ncnn模型加密（可選步驟） cmd = ncnn2mem_path + ' ' + str(ncnn_param_file) + ' ' + str(ncnn_bin_file) + ' ' + str(ncnn_id_file) + ' ' + str(ncnn_mem_file) ret = os.system(str(cmd))

導出到ncnn模型之后，就可以在ncnn模型上運行訓練好的手勢識別庫。ncnn是基于C++開發的，因此編寫上層應用的時候使用C++是效率最高的。我為了簡單，使用python來調用ncnn的C++庫也是可以的，不過會損失一丟丟的性能，但這是值得的，人生苦短，我用python。下面這個視頻是最終部署好的手勢識別程序（PS：為了增加樂趣，我實現了一個剪刀石頭布對戰的功能，也開源了，還是老方法獲取：關注公眾號"DL工程實踐"，后臺回復“手勢識別”四個字）

視頻插不進來，有興趣的關注“DL工程實踐”查看。

?

6、總結

本次實踐完成了基于樹莓派的實時手勢識別，算法上并不復雜，主要是工程實踐上的一些問題，例如數據的采集，網絡的優化，以及后期的推理轉換等。實際上還有一些工作可以優化，例如對模型的量化，對數據的增強。通過模型量化，可以進一步提升運算效率，通過數據增強可以彌補我們自己采集的數據分布單一，過擬合的風險，這些問題就留給讀者朋友們自己去思考了。

總結

以上是生活随笔為你收集整理的树莓派实时(30fps)手势识别，从数据集采集开始，全部流程开源的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。