技术实操丨使用ModelArts和HiLens Studio完成云端验证及部署
前言
HiLens Studio公測也出來一陣子了，亮點很多，我前些天也申請了公測，通過后趕快嘗試了一下，不得不說真的很不錯啊，特別是支持云端編輯代碼，調試，甚至可以直接運行程序，即使自己的HiLens不在身邊，也可以得到程序運行結果，不僅僅是云端IDE這么簡單，更是有云端硬件資源支撐，極大降低了開發者負擔，開發者只需要一臺可以聯網的電腦就行了，可以快速驗證，驗證通過后，直接安裝到自己的HiLens上就能應用了，真是太棒了。
我嘗試了將以前做過的Demo通過HiLens Stuido開發，真的很不錯，很簡單就能完成，值得一提的是，HiLens Studio支持模型轉換，再也不需要通過ModelArts的模型轉換與壓縮功能轉換模型了，直接在HiLens Studio中就能完成了，直接用在項目中就行，省去了模型傳輸的麻煩，可以說這次的HiLens Studio是集大成之作，在得到模型原型（TensorFlow的.pb模型或Caffe的模型）后，后續的模型轉換、代碼編寫，調試，到最后的安裝部署，都可以通過HiLens Studio來完成，特別是支持在線調試運行，沒有HiLens都可以調試，這對于以前的嵌入式或邊緣計算開發來說，是不敢想象的，這都是得益于華為云強大的硬件支撐和技術支持。
閑話少說，這次，我通過HiLens Studio完成基于YOLOv3_Resnet18的行人檢測，這里為了簡單，只對行人進行檢測，如果你希望可以檢測更多類別的目標，可以使用更多類別的數據集訓練，相應的參照本文提供的utils.py做簡單的代碼修改即可，代碼都會給的，也會加必要的注釋哦，而且完整技能發布在了ModelArts的AI市場，歡迎大家體驗，如果有問題，可以在下面回帖哦，對了，該技能基于最新的固件版本測試，在云端控制管理臺顯示為1.0.9版本，其他版本下未測試，注意版本哦。技能在AI市場的鏈接：https://console.huaweicloud.com/modelarts/?region=cn-north-4
正文
重要前提：你已經申請了HiLens Studio公測，并通過。同時，華為云賬戶有一定余額或代金券，模型訓練和OBS需要一定花費，比較少。
整體流程是創建數據集（公開數據集即可）---->模型訓練---->在HiLens Studio中完成模型轉換---->編輯代碼---->在線調試---->安裝部署。下面來逐一介紹一下
1. 創建數據集
這里使用的數據集較大，是基于VOC 2007數據集中Person類別基礎，收集網絡圖片和各公開數據集整理而成，從OBS桶下載需要耗費大量Money，分享也不太方便。不過，沒關系，可以使用官方提供的數據集，無需上傳到OBS桶，直接從官方桶中拷貝即可，但缺點是該數據集有行人和車兩類，且行人較少，主要是車輛，不太適合，大體數據分布如下：
不過你可以考慮改為對車檢測，或干脆直接人車檢測（需要自己簡單修改代碼），可自行選擇哦，關于如何獲取該數據集，以及如何創建數據集，并發布數據集相關介紹較多，不在此贅述，可以參考這篇博客中的正文部分的方法哦，里面介紹了過程，鏈接為：https://bbs.huaweicloud.com/blogs/175189
2. 模型訓練
說明一下，這里使用的是ModelArts中基于Ascend 910訓練的YOLOv3_Resnet18。鏈接為：https://console.huaweicloud.com/modelarts/?region=cn-north-4 ，同時，AI市場中有基GPU訓練的YOLOv3_Resnet18和ModelArts預置算法中的YOLOv3_Resnet18，這兩個應該也是可以的，只要最終得到.pb模型并能在HiLens Studio完成模型轉換都應該沒問題的哦，這兩個算法鏈接分別為：https://console.huaweicloud.com/modelarts/?region=cn-north-4 和 https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0158.html
注意AI市場的算法需要先訂閱（免費的哦），同步后才能創建訓練，類似于你購買了該算法，并同步算法到自己的賬戶，相關介紹在博客中正文第三部分 模型訓練中可查看，不過該博客講的是YOLOv3_Darknet53，不是這里使用YOLOv3_Resnet18，不過沒什么影響，只是名字不同，操作是類似的，鏈接：https://bbs.huaweicloud.com/blogs/175189
最后，提醒一下，無論使用哪種算法，都要用HiLens Studio來轉換模型，不要使用ModelArts中的模型轉換與壓縮來做，因為我用的是最新的1.0.9固件版本，目前嘗試，僅HiLens Studio轉換模型才能正常使用。
3. 模型轉換
對了，打開HiLens Studio需要一定時間，請耐心等待哦。
這里可以將模型訓練輸出到OBS桶的模型直接導入到HiLens Studio中，完成模型轉換，非常方便，這真是極致的云端操作，將云服務發揮到了極致啊。當然，你也可以自己從本地電腦上傳到HiLens Studio中哦。來看看怎么導入吧，很簡單，選擇Import Files from OBS，之后找到自己的模型存儲再OBS的路徑就行了，注意這里目前一次只能導入一個文件，所以需要兩次操作，一次是導入.pb模型，一次是導入轉換的配置文件，暫不能導入文件夾哦。
接下來選中文件，導入就行了：
再來一次，選資額.cfg配置文件哦：
太棒了，你已經成功了一大半了哦，我們能在左側目錄下看到導入的文件了，默認是導入到根目錄哦：
下面進行模型轉換了，如果遇到什么問題，建議參考文檔，不行的話，到論壇提問就好。
文檔鏈接：https://support.huaweicloud.com/usermanual-hilens/hilens_02_0098.html
論壇鏈接：https://bbs.huaweicloud.com/forum/forum-771-1.html
基本轉換操作在文檔中做了詳細的介紹，可以看出來工作人員還是很用心的哈：
就是先在上面菜單欄開個終端，這個使用linux系統或者熟悉ModelArts的NoteBook的用戶都應該比較熟悉了吧。之后用命令行轉換模型。
在界面最先面的終端輸入如下命令即可：
/opt/ddk/bin/aarch64-linux-gcc7.3.0/omg--model=./yolo3_resnet18.pb--input_shape='images:1,352,640,3'--framework=3--output=./yolo3_resnet18 --insert_op_conf=./insert_op_conf.cfg
如果你希望深入了解模型轉換的設置，可以參考：
https://console.huaweicloud.com/modelarts/?region=cn-north-4
https://www.huaweicloud.com/ascend/doc/Atlas200DK/1.31.0.0(beta)/zh/zh-cn_topic_0211633857.html
因為模板默認從左側目錄文件夾model中調用模型（這一點，在代碼中模型路徑部分有寫，而文件夾中的face_detection_demo.om是選擇人臉檢測模板自帶的模型，關于模板問題，后面會講的，可以自行刪除哦），所以我們需要將生成的.om模型復制粘貼到該文件夾中，很簡單的，直接選中.om模型，直接像在自己電腦上那樣 在鍵盤使用快捷鍵Ctrl + C（表示復制選中文件）， 之后選中model文件夾，使用Ctrl + V(表示粘貼)就行了，不得不說這個設計蠻人性化的哦，用戶學習成本很低。
最終，我們得到這樣界面，就行了：
如果你不想自己訓練，只是測試一下，這里提供了轉換完成的.om模型，下載后，上傳到HiLens Studio的model文件夾下即可使用：
鏈接：https://pan.baidu.com/s/1GT1BIvkQIDNCMP-YoVAssA
提取碼：c4d3
4. 編輯代碼
因為使用的是HiLens Studio，請再次確認已申請公測，并通過哦。相關編輯代碼部分，比較簡單。和大多數IDE類似，首先要創建工程，這里提供了很多模板，不過目前還不能創建空模板，所以自己選一個模板就行，我選的是人臉檢測模板，選擇后，點擊確定就行了哦。之后的簡單項目名稱之類的，可參照下圖哦。
創建之后，就能進入HiLens Studio類似于IDE的界面了，有點像PyCharm，感覺很不錯，，可以切換主題哦，支持暗夜黑風格，這個切換就留給你自己去找找吧，不過都是英文界面哦。進入這里，大體可以看到這些東西，主要介紹了這里會用到的部分：
好了，這里我們首先要修改主程序main.py，為了代碼的簡介和模塊化，將預處理和推理結果解析部分單獨寫為一個utils.py文件，方便理解程序運行架構，這里沒什么具體要介紹的，直接上代碼吧，如果有問題的話，可以在下面評論提問哦。
main.py主代碼
# -*- coding: utf-8 -*-
# !/usr/bin/python3
# SkillFramework 1.0.0 YOLOv3_Resnet18_Person
import cv2
import numpy as np
import os
import hilens
# 這個postprocess沒用哈
from postprocess import im_detect_nms
import utils
# 網絡輸入尺寸
input_height = 352
input_width = 640
def main(work_path):
hilens.init("YOLOv3Resnet18Person") # 參數要與創建技能時填寫的檢驗值保持一致！
# 模型路徑
model_path = os.path.join(work_path, 'model/yolo3_resnet18.om')
model = hilens.Model(model_path)
# hilens studio中VideoCapture如果不填寫參數，則默認讀取test/camera0.mp4文件，
# 在hilens kit中不填寫參數則讀取本地攝像頭
camera = hilens.VideoCapture()
display_hdmi = hilens.Display(hilens.HDMI) # 圖像通過hdmi輸出到屏幕
while True:
try:
# 1. 讀取攝像頭輸入（yuv nv21）
input_nv21 = camera.read()
# 2. 轉為RGB格式
input_rgb = cv2.cvtColor(input_nv21, cv2.COLOR_YUV2RGB_NV21)
# src_image_height = input_bgr.shape[0]
# src_image_width = input_bgr.shape[1]
img_preprocess, img_w, img_h = utils.preprocess(input_rgb) # 縮放為模型輸入尺寸
# 3. 模型推理
output = model.infer([img_preprocess.flatten()])
# 4. 結果輸出
bboxes = utils.get_result(output, img_w, img_h) # 獲取檢測結果
output_rgb = utils.draw_boxes(input_rgb, bboxes) # 在圖像上畫框
# 5. 輸出圖像，必須是yuv nv21形式
output_nv21 = hilens.cvt_color(output_rgb, hilens.RGB2YUV_NV21)
display_hdmi.show(output_nv21)
except Exception:
break
if __name__ == "__main__":
main(os.getcwd())
這里還要創建一個前面提到的utils.py文件，很簡單哦，來上圖：
創建后，utils.py的代碼如下，如果你想檢測更多類別，比如同時檢測任何車，可參考我在下面代碼最后加的注釋部分：
# -*- coding: utf-8 -*-
# !/usr/bin/python3
# utils for mask detection
import cv2
import math
import numpy as np
# 檢測模型輸入尺寸
net_h = 352
net_w = 640
# 檢測模型的類別
class_names = ["person"]
class_num = len(class_names)
# 檢測模型的anchors，用于解碼出檢測框
stride_list = [8, 16, 32]
anchors_1 = np.array([[10,13], [16,30], [33,23]]) / stride_list[0]
anchors_2 = np.array([[30,61], [62,45], [59,119]]) / stride_list[1]
anchors_3 = np.array([[116,90], [156,198], [163,326]]) / stride_list[2]
anchor_list = [anchors_1, anchors_2, anchors_3]
# 檢測框的輸出閾值、NMS篩選閾值和人形/人臉區域匹配閾值
conf_threshold = 0.3
iou_threshold = 0.4
cover_threshold = 0.8
# 圖片預處理：縮放到模型輸入尺寸
def preprocess(img_data):
h, w, c = img_data.shape
new_image = cv2.resize(img_data, (net_w, net_h))
return new_image, w, h
def overlap(x1, x2, x3, x4):
left = max(x1, x3)
right = min(x2, x4)
return right - left
# 計算兩個矩形框的IOU
def cal_iou(box1, box2):
w = overlap(box1[0], box1[2], box2[0], box2[2])
h = overlap(box1[1], box1[3], box2[1], box2[3])
if w <= 0 or h <= 0:
return 0
inter_area = w * h
union_area = (box1[2] - box1[0]) * (box1[3] - box1[1]) + (box2[2] - box2[0]) * (box2[3] - box2[1]) - inter_area
return inter_area * 1.0 / union_area
# 計算兩個矩形框的IOU與box2區域的比值
def cover_ratio(box1, box2):
w = overlap(box1[0], box1[2], box2[0], box2[2])
h = overlap(box1[1], box1[3], box2[1], box2[3])
if w <= 0 or h <= 0:
return 0
inter_area = w * h
small_area = (box2[2] - box2[0]) * (box2[3] - box2[1])
return inter_area * 1.0 / small_area
# 使用NMS篩選檢測框
def apply_nms(all_boxes, thres):
res = []
for cls in range(class_num):
cls_bboxes = all_boxes[cls]
sorted_boxes = sorted(cls_bboxes, key=lambda d: d[5])[::-1]
p = dict()
for i in range(len(sorted_boxes)):
if i in p:
continue
truth = sorted_boxes[i]
for j in range(i+1, len(sorted_boxes)):
if j in p:
continue
box = sorted_boxes[j]
iou = cal_iou(box, truth)
if iou >= thres:
p[j] = 1
for i in range(len(sorted_boxes)):
if i not in p:
res.append(sorted_boxes[i])
return res
# 從模型輸出的特征矩陣中解碼出檢測框的位置、類別、置信度等信息
def decode_bbox(conv_output, anchors, img_w, img_h):
def _sigmoid(x):
s = 1 / (1 + np.exp(-x))
return s
_, h, w = conv_output.shape
pred = conv_output.transpose((1,2,0)).reshape((h * w, 3, 5+class_num))
pred[..., 4:] = _sigmoid(pred[..., 4:])
pred[..., 0] = (_sigmoid(pred[..., 0]) + np.tile(range(w), (3, h)).transpose((1,0))) / w
pred[..., 1] = (_sigmoid(pred[..., 1]) + np.tile(np.repeat(range(h), w), (3, 1)).transpose((1,0))) / h
pred[..., 2] = np.exp(pred[..., 2]) * anchors[:, 0:1].transpose((1,0)) / w
pred[..., 3] = np.exp(pred[..., 3]) * anchors[:, 1:2].transpose((1,0)) / h
bbox = np.zeros((h * w, 3, 4))
bbox[..., 0] = np.maximum((pred[..., 0] - pred[..., 2] / 2.0) * img_w, 0) # x_min
bbox[..., 1] = np.maximum((pred[..., 1] - pred[..., 3] / 2.0) * img_h, 0) # y_min
bbox[..., 2] = np.minimum((pred[..., 0] + pred[..., 2] / 2.0) * img_w, img_w) # x_max
bbox[..., 3] = np.minimum((pred[..., 1] + pred[..., 3] / 2.0) * img_h, img_h) # y_max
pred[..., :4] = bbox
pred = pred.reshape((-1, 5+class_num))
pred[:, 4] = pred[:, 4] * pred[:, 5:].max(1) # 類別
pred = pred[pred[:, 4] >= conf_threshold]
pred[:, 5] = np.argmax(pred[:, 5:], axis=-1) # 置信度
all_boxes = [[] for ix in range(class_num)]
for ix in range(pred.shape[0]):
box = [int(pred[ix, iy]) for iy in range(4)]
box.append(int(pred[ix, 5]))
box.append(pred[ix, 4])
all_boxes[box[4]-1].append(box)
return all_boxes
# 從模型輸出中得到檢測框
def get_result(model_outputs, img_w, img_h):
num_channel = 3 * (class_num + 5)
all_boxes = [[] for ix in range(class_num)]
for ix in range(3):
pred = model_outputs[2-ix].reshape((num_channel, net_h // stride_list[ix], net_w // stride_list[ix]))
anchors = anchor_list[ix]
boxes = decode_bbox(pred, anchors, img_w, img_h)
all_boxes = [all_boxes[iy] + boxes[iy] for iy in range(class_num)]
res = apply_nms(all_boxes, iou_threshold)
return res
# 在圖中畫出檢測框，輸出類別信息，注意這里對person類別繪制矩形框
def draw_boxes(img_data, bboxes):
thickness = 2
font_scale = 1
text_font = cv2.FONT_HERSHEY_DUPLEX
for bbox in bboxes:
label = int(bbox[4])
x_min = int(bbox[0])
y_min = int(bbox[1])
x_max = int(bbox[2])
y_max = int(bbox[3])
score = bbox[5]
# 1: person 藍色
if label == 0:
# print(x_min, y_min, x_max, y_max)
cv2.rectangle(img_data, (x_min, y_min), (x_max, y_max), (0, 0, 255), thickness)
# cv2.putText(img_data, 'person', (x_min, y_min - 20), text_font, font_scale, (255, 255, 0), thickness)
# cv2.putText(img_data, score, (50, 50), text_font, font_scale, (255, 255, 0), thickness)
# 2:
'''
if label == 1:
# print(x_min, y_min, x_max, y_max)
cv2.rectangle(img_data, (x_min, y_min), (x_max, y_max), (255, 0, 0), thickness)
# cv2.putText(img_data, 'person', (x_min, y_min - 20), text_font, font_scale, (255, 255, 0), thickness)
# cv2.putText(img_data, score, (50, 50), text_font, font_scale, (255, 255, 0), thickness)
else:
# print("[INFO] Hi, find others.")
pass
'''
return img_data
好，至此，基本代碼部分就完成了。
下面可以檢測測試了，這里提供一段來自MOT多目標挑戰賽的視頻片段供測試，需要自己上傳到HiLens Studio上，十分簡單，和本地電腦操作沒什么區別，郵件單機左側空白目錄部分，彈出菜單，選擇上傳即可，對開發者十分友好啊：
視頻分辨率1920 * 1080，約136M，不過很快就能上傳完成，華為云的帶寬和上傳速度還是很不錯的，不過這也與你自己的網絡環境有關的。
視頻下載鏈接為：
鏈接：https://pan.baidu.com/s/1RWUGpYvAQuP6icY0iDkgEw
提取碼：iwpo
注意：需要將視頻改名為camera0.mp4（選中視頻，郵件彈出菜單，選擇Rename即可），之后到左側目錄test文件夾下，將該文件夾下的camera0.mp4視頻刪除，再將剛才改名為camera0.mp4的視頻（就是我們上傳的視頻）拷貝到test文件夾下。
最終我們得到如下的幾個重要文件：
接下來，就可以執行程序測試了：
之后，在右上角部分的視頻框中就能看到運行結果了，如果你覺得不方便，還可以全屏觀看，甚至畫中畫模式觀看都可以呀，在畫中畫模式下，你可以邊做其他的事情，邊小窗口觀看視頻，類似于手機端的分屏操作。
全屏模式效果展示：
畫中畫模式效果展示（視頻可任意拖拽位置哦）：
上面兩種模式的操作十分簡單，和在騰訊、愛奇藝、B站等視頻網站操作類似：
最終效果如下面視頻所示，這里非常抱歉，由于我是屏幕錄制的，且沒有切換到全屏模式，不太清晰，建議大家自己試試，在自己的HiLens Studio里看會很清晰的，同時，附上B站視頻鏈接，以防下面視頻失效，無法觀看：https://www.bilibili.com/video/BV1E5411Y73r/
如果你想安裝到HiLens Kit上，和原先的操作臺類似，在上面視頻播放界面下面就有選線的，大體如下，仍然是先安裝，后啟動就行了：
至此，大功告成，總的來說，HiLens Stuio如開篇所說的，集大成之作，非常好用，這類云端IDE十分新穎，創新型強，極大降低了對開發者本地配置的要求，甚至幾十沒有硬件設備，也可以調試程序，是邊緣計算開發者的福音呀，這是從HiLens，到華為云，再到華為公司，很多人長期積累努力的結果，很不錯，這也算華為全棧全場景AI解決方案的一部分吧，期待更加強大，加油。
點擊關注，第一時間了解華為云新鮮技術~
總結
以上是生活随笔為你收集整理的技术实操丨使用ModelArts和HiLens Studio完成云端验证及部署的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 索尼录音笔怎么导出录音内容_录音笔十大品
- 下一篇： 驱动程序和应用程序之间的体系结构不匹配_