前言

HiLens Studio公測也出來一陣子了，亮點很多，我前些天也申請了公測，通過后趕快嘗試了一下，不得不說真的很不錯啊，特別是支持云端編輯代碼，調試，甚至可以直接運行程序，即使自己的HiLens不在身邊，也可以得到程序運行結果，不僅僅是云端IDE這么簡單，更是有云端硬件資源支撐，極大降低了開發者負擔，開發者只需要一臺可以聯網的電腦就行了，可以快速驗證，驗證通過后，直接安裝到自己的HiLens上就能應用了，真是太棒了。

我嘗試了將以前做過的Demo通過HiLens Stuido開發，真的很不錯，很簡單就能完成，值得一提的是，HiLens Studio支持模型轉換，再也不需要通過ModelArts的模型轉換與壓縮功能轉換模型了，直接在HiLens Studio中就能完成了，直接用在項目中就行，省去了模型傳輸的麻煩，可以說這次的HiLens Studio是集大成之作，在得到模型原型（TensorFlow的.pb模型或Caffe的模型）后，后續的模型轉換、代碼編寫，調試，到最后的安裝部署，都可以通過HiLens Studio來完成，特別是支持在線調試運行，沒有HiLens都可以調試，這對于以前的嵌入式或邊緣計算開發來說，是不敢想象的，這都是得益于華為云強大的硬件支撐和技術支持。

閑話少說，這次，我通過HiLens Studio完成基于YOLOv3_Resnet18的行人檢測，這里為了簡單，只對行人進行檢測，如果你希望可以檢測更多類別的目標，可以使用更多類別的數據集訓練，相應的參照本文提供的utils.py做簡單的代碼修改即可，代碼都會給的，也會加必要的注釋哦，而且完整技能發布在了ModelArts的AI市場，歡迎大家體驗，如果有問題，可以在下面回帖哦，對了，該技能基于最新的固件版本測試，在云端控制管理臺顯示為1.0.9版本，其他版本下未測試，注意版本哦。技能在AI市場的鏈接：https://console.huaweicloud.com/modelarts/?region=cn-north-4

正文

重要前提：你已經申請了HiLens Studio公測，并通過。同時，華為云賬戶有一定余額或代金券，模型訓練和OBS需要一定花費，比較少。

整體流程是創建數據集（公開數據集即可）---->模型訓練---->在HiLens Studio中完成模型轉換---->編輯代碼---->在線調試---->安裝部署。下面來逐一介紹一下

1. 創建數據集

這里使用的數據集較大，是基于VOC 2007數據集中Person類別基礎，收集網絡圖片和各公開數據集整理而成，從OBS桶下載需要耗費大量Money，分享也不太方便。不過，沒關系，可以使用官方提供的數據集，無需上傳到OBS桶，直接從官方桶中拷貝即可，但缺點是該數據集有行人和車兩類，且行人較少，主要是車輛，不太適合，大體數據分布如下：

不過你可以考慮改為對車檢測，或干脆直接人車檢測（需要自己簡單修改代碼），可自行選擇哦，關于如何獲取該數據集，以及如何創建數據集，并發布數據集相關介紹較多，不在此贅述，可以參考這篇博客中的正文部分的方法哦，里面介紹了過程，鏈接為：https://bbs.huaweicloud.com/blogs/175189

2. 模型訓練

說明一下，這里使用的是ModelArts中基于Ascend 910訓練的YOLOv3_Resnet18。鏈接為：https://console.huaweicloud.com/modelarts/?region=cn-north-4 ，同時，AI市場中有基GPU訓練的YOLOv3_Resnet18和ModelArts預置算法中的YOLOv3_Resnet18，這兩個應該也是可以的，只要最終得到.pb模型并能在HiLens Studio完成模型轉換都應該沒問題的哦，這兩個算法鏈接分別為：https://console.huaweicloud.com/modelarts/?region=cn-north-4 和 https://support.huaweicloud.com/engineers-modelarts/modelarts_23_0158.html

注意AI市場的算法需要先訂閱（免費的哦），同步后才能創建訓練，類似于你購買了該算法，并同步算法到自己的賬戶，相關介紹在博客中正文第三部分 模型訓練中可查看，不過該博客講的是YOLOv3_Darknet53，不是這里使用YOLOv3_Resnet18，不過沒什么影響，只是名字不同，操作是類似的，鏈接：https://bbs.huaweicloud.com/blogs/175189

最后，提醒一下，無論使用哪種算法，都要用HiLens Studio來轉換模型，不要使用ModelArts中的模型轉換與壓縮來做，因為我用的是最新的1.0.9固件版本，目前嘗試，僅HiLens Studio轉換模型才能正常使用。

3. 模型轉換

對了，打開HiLens Studio需要一定時間，請耐心等待哦。

這里可以將模型訓練輸出到OBS桶的模型直接導入到HiLens Studio中，完成模型轉換，非常方便，這真是極致的云端操作，將云服務發揮到了極致啊。當然，你也可以自己從本地電腦上傳到HiLens Studio中哦。來看看怎么導入吧，很簡單，選擇Import Files from OBS，之后找到自己的模型存儲再OBS的路徑就行了，注意這里目前一次只能導入一個文件，所以需要兩次操作，一次是導入.pb模型，一次是導入轉換的配置文件，暫不能導入文件夾哦。

接下來選中文件，導入就行了：

再來一次，選資額.cfg配置文件哦：

太棒了，你已經成功了一大半了哦，我們能在左側目錄下看到導入的文件了，默認是導入到根目錄哦：

下面進行模型轉換了，如果遇到什么問題，建議參考文檔，不行的話，到論壇提問就好。

文檔鏈接：https://support.huaweicloud.com/usermanual-hilens/hilens_02_0098.html

論壇鏈接：https://bbs.huaweicloud.com/forum/forum-771-1.html

基本轉換操作在文檔中做了詳細的介紹，可以看出來工作人員還是很用心的哈：

就是先在上面菜單欄開個終端，這個使用linux系統或者熟悉ModelArts的NoteBook的用戶都應該比較熟悉了吧。之后用命令行轉換模型。

在界面最先面的終端輸入如下命令即可：

/opt/ddk/bin/aarch64-linux-gcc7.3.0/omg--model=./yolo3_resnet18.pb--input_shape='images:1,352,640,3'--framework=3--output=./yolo3_resnet18
--insert_op_conf=./insert_op_conf.cfg

如果你希望深入了解模型轉換的設置，可以參考：

https://console.huaweicloud.com/modelarts/?region=cn-north-4

https://www.huaweicloud.com/ascend/doc/Atlas200DK/1.31.0.0(beta)/zh/zh-cn_topic_0211633857.html

因為模板默認從左側目錄文件夾model中調用模型（這一點，在代碼中模型路徑部分有寫，而文件夾中的face_detection_demo.om是選擇人臉檢測模板自帶的模型，關于模板問題，后面會講的，可以自行刪除哦），所以我們需要將生成的.om模型復制粘貼到該文件夾中，很簡單的，直接選中.om模型，直接像在自己電腦上那樣 在鍵盤使用快捷鍵Ctrl + C（表示復制選中文件）， 之后選中model文件夾，使用Ctrl + V(表示粘貼)就行了，不得不說這個設計蠻人性化的哦，用戶學習成本很低。

最終，我們得到這樣界面，就行了：

如果你不想自己訓練，只是測試一下，這里提供了轉換完成的.om模型，下載后，上傳到HiLens Studio的model文件夾下即可使用：

鏈接：https://pan.baidu.com/s/1GT1BIvkQIDNCMP-YoVAssA

提取碼：c4d3

4. 編輯代碼

因為使用的是HiLens Studio，請再次確認已申請公測，并通過哦。相關編輯代碼部分，比較簡單。和大多數IDE類似，首先要創建工程，這里提供了很多模板，不過目前還不能創建空模板，所以自己選一個模板就行，我選的是人臉檢測模板，選擇后，點擊確定就行了哦。之后的簡單項目名稱之類的，可參照下圖哦。

創建之后，就能進入HiLens Studio類似于IDE的界面了，有點像PyCharm，感覺很不錯，，可以切換主題哦，支持暗夜黑風格，這個切換就留給你自己去找找吧，不過都是英文界面哦。進入這里，大體可以看到這些東西，主要介紹了這里會用到的部分：

好了，這里我們首先要修改主程序main.py，為了代碼的簡介和模塊化，將預處理和推理結果解析部分單獨寫為一個utils.py文件，方便理解程序運行架構，這里沒什么具體要介紹的，直接上代碼吧，如果有問題的話，可以在下面評論提問哦。

main.py主代碼

# -*- coding: utf-8 -*-
# !/usr/bin/python3
# SkillFramework 1.0.0 YOLOv3_Resnet18_Person

import cv2
import numpy as np
import os
import hilens
# 這個postprocess沒用哈
from postprocess import im_detect_nms
import utils


# 網絡輸入尺寸
input_height = 352
input_width = 640


def main(work_path):
    hilens.init("YOLOv3Resnet18Person")  # 參數要與創建技能時填寫的檢驗值保持一致！

    # 模型路徑
    model_path = os.path.join(work_path, 'model/yolo3_resnet18.om')
    model = hilens.Model(model_path)

    # hilens studio中VideoCapture如果不填寫參數，則默認讀取test/camera0.mp4文件，
    # 在hilens kit中不填寫參數則讀取本地攝像頭
    camera = hilens.VideoCapture()
    display_hdmi = hilens.Display(hilens.HDMI)  # 圖像通過hdmi輸出到屏幕

    while True:
        try:
            # 1. 讀取攝像頭輸入（yuv nv21）
            input_nv21 = camera.read()
            # 2. 轉為RGB格式
            input_rgb = cv2.cvtColor(input_nv21, cv2.COLOR_YUV2RGB_NV21)
            # src_image_height = input_bgr.shape[0]
            # src_image_width = input_bgr.shape[1]
            img_preprocess, img_w, img_h = utils.preprocess(input_rgb)  # 縮放為模型輸入尺寸
            # 3. 模型推理
            output = model.infer([img_preprocess.flatten()])
            # 4. 結果輸出
            bboxes = utils.get_result(output, img_w, img_h)   # 獲取檢測結果
            output_rgb = utils.draw_boxes(input_rgb, bboxes)  # 在圖像上畫框
            # 5. 輸出圖像，必須是yuv nv21形式
            output_nv21 = hilens.cvt_color(output_rgb, hilens.RGB2YUV_NV21)
            display_hdmi.show(output_nv21)
        except Exception:
            break


if __name__ == "__main__":
    main(os.getcwd())

這里還要創建一個前面提到的utils.py文件，很簡單哦，來上圖：

創建后，utils.py的代碼如下，如果你想檢測更多類別，比如同時檢測任何車，可參考我在下面代碼最后加的注釋部分：

# -*- coding: utf-8 -*-
# !/usr/bin/python3
# utils for mask detection

import cv2
import math
import numpy as np


# 檢測模型輸入尺寸
net_h = 352
net_w = 640

# 檢測模型的類別
class_names = ["person"]
class_num   = len(class_names)

# 檢測模型的anchors，用于解碼出檢測框
stride_list = [8, 16, 32]
anchors_1   = np.array([[10,13],   [16,30],   [33,23]])   / stride_list[0]
anchors_2   = np.array([[30,61], [62,45],   [59,119]])   / stride_list[1]
anchors_3   = np.array([[116,90], [156,198], [163,326]]) / stride_list[2]
anchor_list = [anchors_1, anchors_2, anchors_3]

# 檢測框的輸出閾值、NMS篩選閾值和人形/人臉區域匹配閾值
conf_threshold   = 0.3
iou_threshold    = 0.4
cover_threshold  = 0.8


# 圖片預處理：縮放到模型輸入尺寸
def preprocess(img_data):
    h, w, c   = img_data.shape
    new_image = cv2.resize(img_data, (net_w, net_h))
    return new_image, w, h
    
def overlap(x1, x2, x3, x4):
    left  = max(x1, x3)
    right = min(x2, x4)
    return right - left

# 計算兩個矩形框的IOU
def cal_iou(box1, box2):
    w = overlap(box1[0], box1[2], box2[0], box2[2])
    h = overlap(box1[1], box1[3], box2[1], box2[3])
    if w <= 0 or h <= 0:
        return 0
    inter_area = w * h
    union_area = (box1[2] - box1[0]) * (box1[3] - box1[1]) + (box2[2] - box2[0]) * (box2[3] - box2[1]) - inter_area
    return inter_area * 1.0 / union_area

# 計算兩個矩形框的IOU與box2區域的比值
def cover_ratio(box1, box2):
    w = overlap(box1[0], box1[2], box2[0], box2[2])
    h = overlap(box1[1], box1[3], box2[1], box2[3])
    if w <= 0 or h <= 0:
        return 0
    inter_area = w * h
    small_area = (box2[2] - box2[0]) * (box2[3] - box2[1])
    return inter_area * 1.0 / small_area

# 使用NMS篩選檢測框
def apply_nms(all_boxes, thres):
    res = []
    
    for cls in range(class_num):        
        cls_bboxes   = all_boxes[cls]
        sorted_boxes = sorted(cls_bboxes, key=lambda d: d[5])[::-1]
        
        p = dict()
        for i in range(len(sorted_boxes)):
            if i in p:
                continue

            truth = sorted_boxes[i]
            for j in range(i+1, len(sorted_boxes)):
                if j in p:
                    continue
                box = sorted_boxes[j]
                iou = cal_iou(box, truth)
                if iou >= thres:
                    p[j] = 1

        for i in range(len(sorted_boxes)):
            if i not in p:
                res.append(sorted_boxes[i])
    return res

# 從模型輸出的特征矩陣中解碼出檢測框的位置、類別、置信度等信息
def decode_bbox(conv_output, anchors, img_w, img_h):

    def _sigmoid(x):
        s = 1 / (1 + np.exp(-x))
        return s
    
    _, h, w = conv_output.shape    
    pred    = conv_output.transpose((1,2,0)).reshape((h * w, 3, 5+class_num))
    
    pred[..., 4:] = _sigmoid(pred[..., 4:])
    pred[..., 0]  = (_sigmoid(pred[..., 0]) + np.tile(range(w), (3, h)).transpose((1,0))) / w
    pred[..., 1]  = (_sigmoid(pred[..., 1]) + np.tile(np.repeat(range(h), w), (3, 1)).transpose((1,0))) / h
    pred[..., 2]  = np.exp(pred[..., 2]) * anchors[:, 0:1].transpose((1,0)) / w
    pred[..., 3]  = np.exp(pred[..., 3]) * anchors[:, 1:2].transpose((1,0)) / h
                  
    bbox          = np.zeros((h * w, 3, 4))
    bbox[..., 0]  = np.maximum((pred[..., 0] - pred[..., 2] / 2.0) * img_w, 0)     # x_min
    bbox[..., 1]  = np.maximum((pred[..., 1] - pred[..., 3] / 2.0) * img_h, 0)     # y_min
    bbox[..., 2]  = np.minimum((pred[..., 0] + pred[..., 2] / 2.0) * img_w, img_w) # x_max
    bbox[..., 3]  = np.minimum((pred[..., 1] + pred[..., 3] / 2.0) * img_h, img_h) # y_max
    
    pred[..., :4] = bbox
    pred          = pred.reshape((-1, 5+class_num))
    pred[:, 4]    = pred[:, 4] * pred[:, 5:].max(1)    # 類別
    pred          = pred[pred[:, 4] >= conf_threshold]
    pred[:, 5]    = np.argmax(pred[:, 5:], axis=-1)    # 置信度
    
    all_boxes = [[] for ix in range(class_num)]
    for ix in range(pred.shape[0]):
        box = [int(pred[ix, iy]) for iy in range(4)]
        box.append(int(pred[ix, 5]))
        box.append(pred[ix, 4])
        all_boxes[box[4]-1].append(box)

    return all_boxes

# 從模型輸出中得到檢測框
def get_result(model_outputs, img_w, img_h):

    num_channel = 3 * (class_num + 5)    
    all_boxes   = [[] for ix in range(class_num)]
    for ix in range(3):
        pred      = model_outputs[2-ix].reshape((num_channel, net_h // stride_list[ix], net_w // stride_list[ix]))
        anchors   = anchor_list[ix]
        boxes     = decode_bbox(pred, anchors, img_w, img_h)        
        all_boxes = [all_boxes[iy] + boxes[iy] for iy in range(class_num)]
    
    res = apply_nms(all_boxes, iou_threshold)    
    return res

# 在圖中畫出檢測框，輸出類別信息，注意這里對person類別繪制矩形框
def draw_boxes(img_data, bboxes):
    thickness      = 2
    font_scale     = 1
    text_font      = cv2.FONT_HERSHEY_DUPLEX
    for bbox in bboxes:
        label = int(bbox[4])
        x_min = int(bbox[0])
        y_min = int(bbox[1])
        x_max = int(bbox[2])
        y_max = int(bbox[3])
        score = bbox[5]

        # 1: person 藍色 
        if label == 0:  
            # print(x_min, y_min, x_max, y_max)
            cv2.rectangle(img_data, (x_min, y_min), (x_max, y_max), (0, 0, 255), thickness)
            # cv2.putText(img_data, 'person', (x_min, y_min - 20), text_font, font_scale, (255, 255, 0), thickness)
            # cv2.putText(img_data, score, (50, 50), text_font, font_scale, (255, 255, 0), thickness)

        # 2:
        '''
        if label == 1:
            # print(x_min, y_min, x_max, y_max)
            cv2.rectangle(img_data, (x_min, y_min), (x_max, y_max), (255, 0, 0), thickness)
            # cv2.putText(img_data, 'person', (x_min, y_min - 20), text_font, font_scale, (255, 255, 0), thickness)
            # cv2.putText(img_data, score, (50, 50), text_font, font_scale, (255, 255, 0), thickness)
        

        else:
            # print("[INFO] Hi, find others.")
            pass
        '''

    return img_data

好，至此，基本代碼部分就完成了。

下面可以檢測測試了，這里提供一段來自MOT多目標挑戰賽的視頻片段供測試，需要自己上傳到HiLens Studio上，十分簡單，和本地電腦操作沒什么區別，郵件單機左側空白目錄部分，彈出菜單，選擇上傳即可，對開發者十分友好啊：

視頻分辨率1920 * 1080，約136M，不過很快就能上傳完成，華為云的帶寬和上傳速度還是很不錯的，不過這也與你自己的網絡環境有關的。

視頻下載鏈接為：

鏈接：https://pan.baidu.com/s/1RWUGpYvAQuP6icY0iDkgEw

提取碼：iwpo

注意：需要將視頻改名為camera0.mp4（選中視頻，郵件彈出菜單，選擇Rename即可），之后到左側目錄test文件夾下，將該文件夾下的camera0.mp4視頻刪除，再將剛才改名為camera0.mp4的視頻（就是我們上傳的視頻）拷貝到test文件夾下。

最終我們得到如下的幾個重要文件：

接下來，就可以執行程序測試了：

之后，在右上角部分的視頻框中就能看到運行結果了，如果你覺得不方便，還可以全屏觀看，甚至畫中畫模式觀看都可以呀，在畫中畫模式下，你可以邊做其他的事情，邊小窗口觀看視頻，類似于手機端的分屏操作。

全屏模式效果展示：

畫中畫模式效果展示（視頻可任意拖拽位置哦）：

上面兩種模式的操作十分簡單，和在騰訊、愛奇藝、B站等視頻網站操作類似：

最終效果如下面視頻所示，這里非常抱歉，由于我是屏幕錄制的，且沒有切換到全屏模式，不太清晰，建議大家自己試試，在自己的HiLens Studio里看會很清晰的，同時，附上B站視頻鏈接，以防下面視頻失效，無法觀看：https://www.bilibili.com/video/BV1E5411Y73r/

如果你想安裝到HiLens Kit上，和原先的操作臺類似，在上面視頻播放界面下面就有選線的，大體如下，仍然是先安裝，后啟動就行了：

至此，大功告成，總的來說，HiLens Stuio如開篇所說的，集大成之作，非常好用，這類云端IDE十分新穎，創新型強，極大降低了對開發者本地配置的要求，甚至幾十沒有硬件設備，也可以調試程序，是邊緣計算開發者的福音呀，這是從HiLens，到華為云，再到華為公司，很多人長期積累努力的結果，很不錯，這也算華為全棧全場景AI解決方案的一部分吧，期待更加強大，加油。

點擊關注，第一時間了解華為云新鮮技術~

總結

以上是生活随笔為你收集整理的技术实操丨使用ModelArts和HiLens Studio完成云端验证及部署的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。