英特尔OpenVINO工具套件高级课程实验操作记录与学习总结
英特爾OpenVINO工具套件高級課程&實驗操作記錄與學習總結
實驗機器環境部分信息:
dc2-user@10-0-255-63:~$ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 18.04.3 LTS Release: 18.04 Codename: bionic dc2-user@10-0-255-63:~$ date Wed Feb 23 19:10:31 CST 2022 dc2-user@10-0-255-63:~$ uname -a Linux 10-0-255-63 4.15.0-167-generic #175-Ubuntu SMP Wed Jan 5 01:56:07 UTC 2022 x86_64 x86_64 x86_64 GNU/Linux dc2-user@10-0-255-63:~$Intel? Distribution of OpenVINO? Toolkit Download:
下載地址
文章目錄
- 第一課動手實驗：如何充分使用OpenVINO?工具套件?-在線測試
- 1.人體動作姿勢識別示例
- 2.圖像著色示例
- 3.音頻檢測示例
- 4.公式識別
- 5.環境深度識別
- 6.目標識別示例
- 7.自然語言處理示例（NLP）——自動回答問題
- 第二課動手實驗：如何構建一個異構系統——動手實驗-在線測試
- 1.上傳性能評估腳本到DevCloud
- 2.利用多硬件協同推理
- 第三課動手實驗：AI應用中的視頻處理-在線測試
- 1.測試當前設備的解碼密度
- 第四課動手實驗：如何進行AI推理的性能對比-在線測試
- 1.數據精度對推理性能的影響
- 第六課動手實驗：AI應用中的音頻處理-在線測試
- 1.聲音檢測實驗
- 2.聲音識別實驗
- 第七課動手實驗：如何實現DL-streamer包含的高級功能?-在線測試
- 1.使用DL-streamer進行表情識別
- 第八課動手實驗：整合實現AI應用中的音視頻處理-在線測試
- 1.視頻+音頻處理實驗
- OpenVINO高級課程結業證書
第一課動手實驗：如何充分使用OpenVINO?工具套件?-在線測試
1.人體動作姿勢識別示例
設定實驗路徑
設定OpenVINO的路徑：
export OV=/opt/intel/openvino_2021/
設定當前實驗的路徑：
export WD=~/OV-300/01/3D_Human_pose/
注：實驗文件夾名為OV-300，位于主目錄下。本環境下，文件的上傳與下載方法，參考右上角幫助手冊。
運行初始化OpenVINO的腳本
source $OV/bin/setupvars.sh
當你看到：[setupvars.sh] OpenVINO environment initialized 表示OpenVINO環境已經成功初始化。
運行OpenVINO依賴腳本的安裝
進入腳本目錄：
cd $OV/deployment_tools/model_optimizer/install_prerequisites/
安裝OpenVINO需要的依賴：
sudo ./install_prerequisites.sh
PS：此步驟為模擬開發機本地進行OpenVINO使用的步驟，所以 之后你在本地使用OpenVINO之前需要遵循此步驟。
安裝OpenVINO模型下載器的依賴文件
進入到模型下載器的文件夾：
cd $OV/deployment_tools/tools/model_downloader/
安裝模型下載器的依賴：
python3 -mpip install --user -r ./requirements.in
安裝下載轉換pytorch模型的依賴：
sudo python3 -mpip install --user -r ./requirements-pytorch.in
安裝下載轉換caffe2模型的依賴：
sudo python3 -mpip install --user -r ./requirements-caffe2.in
PS：此步驟為模擬開發機本地進行OpenVINO使用的步驟，所以 之后你在本地使用OpenVINO之前需要遵循此步驟。
通過模型下載器下載人體姿勢識別模型
正式進入實驗目錄：
cd $WD
查看human_pose_estimation_3d_demo需要的模型列表：
cat /opt/intel/openvino_2021//deployment_tools/inference_engine/demos/human_pose_estimation_3d_demo/python/models.lst
通過模型下載器下載模型：
python3 $OV/deployment_tools/tools/model_downloader/downloader.py --list $OV/deployment_tools/inference_engine/demos/human_pose_estimation_3d_demo/python/models.lst -o $WD
使用模型轉換器把模型轉換成IR格式
OpenVINO支持把市面上主流的框架比如TensorFlow/Pytorch->ONNX/CAFFE等框架構建好的模型轉換為IR格式：
python3 $OV/deployment_tools/tools/model_downloader/converter.py --list $OV/deployment_tools/inference_engine/demos/human_pose_estimation_3d_demo/python/models.lst
PS：目前OpenVINO的推理引擎只能夠推理經過轉換完成的IR文件，無法直接推理.pb/.caffemode/.pt等文件。
編譯OpenVINO的Python API
只需要編譯一次：
source $OV/inference_engine/demos/build_demos.sh -DENABLE_PYTHON=ON
若你需要使用OpenVINO的PythonAPI，請加入如下編譯出來的庫地址(否則會找不到庫)：
export PYTHONPATH="$PYTHONPATH:/home/dc2-user/omz_demos_build/intel64/Release/lib/"
播放待識別的實驗視頻
由于網頁播放器限制，請手動輸入如下命令來播放視頻：
show 3d_dancing.mp4
PS:請務必使用鍵盤逐字母進行輸入
運行人體姿勢識別Demo
運行人體姿勢識別Demo：
python3 $OV/inference_engine/demos/human_pose_estimation_3d_demo/python/human_pose_estimation_3d_demo.py -m $WD/public/human-pose-estimation-3d-0001/FP16/human-pose-estimation-3d-0001.xml -i 3d_dancing.mp4 --no_show -o output.avi
請耐心等待程序運行完成，若屏幕出現Inference Completed!! 則表示推理完成，請輸入“ls”羅列當前文件夾的所有文件
轉換并播放識別結果視頻
由于平臺限制，我們必須先將輸出結果視頻轉換為MP4格式，使用如下命令：
ffmpeg -i output.avi output.mp4
手動輸入如下命令進行推理結果視頻播放：
show output.mp4
2.圖像著色示例
設置實驗路徑
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/01/Colorization/
初始化OpenVINO
source $OV/bin/setupvars.sh
開始實驗
正式進入工作目錄：
cd $WD
查看該demo的所需模型：
cat $OV/deployment_tools/inference_engine/demos/colorization_demo/python/models.lst
由于該實驗模型較大，模型已經提前下載好了，請繼續下一步。
查看原始視頻
所有show命令都請手動輸入：
show butterfly.mp4
運行著色Demo
python3 $OV/inference_engine/demos/colorization_demo/python/colorization_demo.py -m $WD/public/colorization-siggraph/colorization-siggraph.onnx -i butterfly.mp4 --no_show -o output.avi
PS：細心的同學會發現，這個實驗中可以直接使用onnx格式進行實驗，這說明推理引擎是支持簡單的onnx進行推理（當然你轉換為IR也可以）。請耐心等待程序運行完成，你將會看到“Inference Completed”的字樣。輸出avi將保存于當前文件夾,使用小寫“LL”命令查看當前文件夾。
查看著色實驗的輸出結果視頻
請先使用ffmpeg將.avi轉換為.mp4格式：
ffmpeg -i output.avi output.mp4
手動輸入播放視頻的指令：
show output.mp4
PS:若轉換完成使用show命令無法顯示，請稍后30s再試。
3.音頻檢測示例
初始化環境
#初始化工作目錄
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/01/Audio-Detection/
#初始OpenVINO
source $OV/bin/setupvars.sh
進入音頻檢測目錄
#進入OpenVINO中自帶的音頻檢測示例：
cd $OV/data_processing/dl_streamer/samples/gst_launch/audio_detect
#你可以查看檢測的標簽文件
vi ./model_proc/aclnet.json
#你也可以播放待會待檢測的音頻文件
show how_are_you_doing.mp3
運行音頻檢測
#運行示例
bash audio_event_detection.sh
分析音頻檢測結果
#結果并不是很適合觀察，你可以運行如下命令
bash audio_event_detection.sh | grep “label”:" |sed ‘s/.*label"//’ | sed ‘s/"label_id.start_timestamp"😕/’ | sed 's/}].//’
#現在你可以看到在時間戳600000000的時候，我們檢測到語音了，但并不知道內容是什么，因為它知識一個檢測示例，并不是一個識別示例:“Speech”,600000000
4.公式識別
初始化環境
#初始化環境
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/01/Formula_recognition/
#初始化OpenVINO
source $OV/bin/setupvars.sh
查看可識別的字符
cd $WD
#手寫字符：
vi hand.json
#打印字符：
vi latex.json
查看待識別的公式
#進入材料目錄
cd $WD/…/Materials/
#查看打印公式
show Latex-formula.png
#查看手寫公式
show Hand-formula.png
運行公式識別
cd $WD
#識別打印公式
python3 $OV/inference_engine/demos/formula_recognition_demo/python/formula_recognition_demo.py -m_encoder $WD/intel/formula-recognition-medium-scan-0001/formula-recognition-medium-scan-0001-im2latex-encoder/FP16/formula-recognition-medium-scan-0001-im2latex-encoder.xml -m_decoder $WD/intel/formula-recognition-medium-scan-0001/formula-recognition-medium-scan-0001-im2latex-decoder/FP16/formula-recognition-medium-scan-0001-im2latex-decoder.xml --vocab_path latex.json -i $WD/…/Materials/Latex-formula.png -no_show
識別手寫公式
#識別手寫公式
python3 $OV/inference_engine/demos/formula_recognition_demo/python/formula_recognition_demo.py -m_encoder $WD/intel/formula-recognition-polynomials-handwritten-0001/formula-recognition-polynomials-handwritten-0001-encoder/FP16/formula-recognition-polynomials-handwritten-0001-encoder.xml -m_decoder $WD/intel/formula-recognition-polynomials-handwritten-0001/formula-recognition-polynomials-handwritten-0001-decoder/FP16/formula-recognition-polynomials-handwritten-0001-decoder.xml --vocab_path hand.json -i $WD/…/Materials/Hand-formula.png -no_show
挑戰任務
#可上傳自己的手寫公式，保存為PNG格式來示例進行識別
#上傳文件的方法位于網頁右上角幫助手冊中
#若想跳過該任務直接點擊確認即可
5.環境深度識別
初始化環境
#環境目錄
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/01/MonoDepth_Python/
#初始化OpenVINO
source $OV/bin/setupvars.sh
轉換原始模型文件為IR文件
進入工作目錄
cd $WD
#下載好的模型為TensorFlow格式，使用converter準換為IR格式：
python3 $OV/deployment_tools/tools/model_downloader/converter.py --list $OV/deployment_tools/inference_engine/demos/monodepth_demo/python/models.lst
查看需要被識別的原始圖片
#查看原始文件
show tree.jpeg
運行深度識別示例
#進入工作目錄
cd $WD
運行示例,該示例的作用是自動分離圖片中景深不同的地方：
python3 $OV/inference_engine/demos/monodepth_demo/python/monodepth_demo.py -m $WD/public/midasnet/FP32/midasnet.xml -i tree.jpeg
#查看顯示結果
show disp.png
6.目標識別示例
初始化環境
#定義OpenVINO 目錄
export OV=/opt/intel/openvino_2021/
#定義工作目錄
export WD=~/OV-300/01/Object_Detection/
#初始化OpenVINO
source $OV/bin/setupvars.sh
#進入工作目錄
cd $WD
選擇適合你的模型
#由于支持目標檢測的模型較多，你可以在不同拓撲網絡下選擇適合模型：
vi $OV/inference_engine/demos/object_detection_demo/python/models.lst
注：關于SSD, Yolo, centernet, faceboxes or Retina拓撲網絡的區別，本課程不會繼續深入，有興趣的同學可以自行上網了解。在OpenVINO中的deployment_tools/inference_engine/demos/的各個demo文件夾中都有model.lst列出了該demo支持的可直接通過downloader下載使用的模型
轉換模型至IR格式
#本實驗已經事先下完成：pedestrian-and-vehicle-detector-adas 與 yolo-v3-tf
#使用Converter進行IR轉換，由于pedestrian-and-vehicle-detector-adas 為英特爾預訓練模型，已經轉換IR完成，只需要對yolo-v3進行轉換：
python3 $OV/deployment_tools/tools/model_downloader/converter.py --name yolo-v3-tf
查看待檢測的視頻
cd $WD/…/Materials/Road.mp4
#播放視頻：
show Road.mp4
使用SSD模型運行目標檢測示例
cd $WD
#運行 OMZ (ssd) model
python3 $OV/inference_engine/demos/object_detection_demo/python/object_detection_demo.py -m $WD/intel/pedestrian-and-vehicle-detector-adas-0001/FP16/pedestrian-and-vehicle-detector-adas-0001.xml --architecture_type ssd -i $WD/…/Materials/Road.mp4 --no_show -o $WD/output_ssd.avi
#轉換為mp4格式進行播放
ffmpeg -i output_ssd.avi output_ssd.mp4
show output_ssd.mp4
運行Yolo-V3下的目標檢測示例
#運行 the Yolo V3 model
python3 $OV/inference_engine/demos/object_detection_demo/python/object_detection_demo.py -m $WD/public/yolo-v3-tf/FP16/yolo-v3-tf.xml -i $WD/…/Materials/Road.mp4 --architecture_type yolo --no_show -o $WD/output_yolo.avi
#轉換為mp4格式進行播放
ffmpeg -i output_yolo.avi output_yolo.mp4
show output_yolo.mp4
！請對比兩個模型在相同代碼下的檢測性能
7.自然語言處理示例（NLP）——自動回答問題
初始化環境
#定義工作目錄
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/01/NLP-Bert/
#初始化OpenVINO
source $OV/bin/setupvars.sh
#進入目錄
cd $WD
查看支持的模型列表
#可用列表：
cat $OV/deployment_tools/inference_engine/demos/bert_question_answering_demo/python/models.lst
注：在OpenVINO中的deployment_tools/inference_engine/demos/的各個demo文件夾中都有model.lst列出了該demo支持的可直接通過downloader下載使用的模型，且我們已經事先下載好全部模型為IR格式。
打開待識別的網址
#使用瀏覽器打開一個英文網址進行瀏覽，例如Intel官網：https://www.intel.com/content/www/us/en/homepage.html
運行NLP示例
python3 $OV/inference_engine/demos/bert_question_answering_demo/python/bert_question_answering_demo.py -m $WD/intel/bert-small-uncased-whole-word-masking-squad-0001/FP16/bert-small-uncased-whole-word-masking-squad-0001.xml -v $OV/deployment_tools/open_model_zoo/models/intel/bert-small-uncased-whole-word-masking-squad-0001/vocab.txt --input=https://www.intel.com/content/www/us/en/homepage.html --input_names=input_ids,attention_mask,token_type_ids --output_names=output_s,output_e
#在Type question (empty string to exit): 輸入core。即可查看當前對于core（酷睿）的可知信息，例如： Intel? Core? processors provide a range of performance from entry-level to the highest level 。當然你也可以輸入別的問題。對比網站上的相關描述
注：–input=https://www.intel.com/content/www/us/en/homepage.html 為我們需要訪問的英文網站
挑戰任務
#在上一個步驟的實驗基礎上，嘗試使用不同的網址作為–input 的輸入，并嘗試提出一些別的關鍵詞問題。并思考如何能夠提升這個示例的準確性。
#在上一個步驟的實驗基礎上，嘗試使用不同的模型作為-m/-v 的輸入(模型位于$WD/INTEL/目錄下)，并嘗試提出一些別的關鍵詞問題。并思考如何能夠提升這個示例的準確性。
注：該示例只支持英文網站，且該網站可正常訪問。
第二課動手實驗：如何構建一個異構系統——動手實驗-在線測試
1.上傳性能評估腳本到DevCloud
初始實驗路徑
#定義OpenVINO 文件夾
export OV=/opt/intel/openvino_2021/
#定義工作目錄
export WD=~/OV-300/02/LAB1/
#初始化OpenVINO
source $OV/bin/setupvars.sh
#進入實驗目錄
cd $WD
查看當前設備信息
通過OpenVINO自帶腳本可以查詢當前環境的設備信息：
python3 $OV/inference_engine/samples/python/hello_query_device/hello_query_device.py
DevCloud 介紹
英特爾? DevCloud 提供對各種英特爾? 架構CPU/GPU/NCS2/智能硬件等設備的免費訪問，幫助您獲得英特爾? 軟件的即時動手體驗，并執行您的邊緣、人工智能、高性能計算 (HPC) 和渲染工作負載。借助預裝的英特爾? 優化框架、工具（OpenVINO Toolkit, OneAPI）和庫，您擁有快速跟蹤學習和項目原型制作所需的一切。
本次實驗提供了4個可用節點：
idc004nc2: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
idc007xv5: Intel - xeon e3-1268l-v5, intel-hd-p530
idc008u2g: Intel - atom e3950, intel-hd-505,myriad-1-VPU
idc014:Intel - i7 8665ue, intel-uhd-620
注：NCS2中文名為第二代神經計算棒，是英特爾公司推出的邊緣計算設備，體積和U盤相似，接口為USB3.0，內置Myriad X計算芯片，功耗僅為2W，理論算力可達1TOPS。OpenVINO可以通過“MYRIAD”的插件將深度學習模型部署在上面。
上傳Benchmark_App.py至DevCloud中運行
我們將需要運行的代碼提交至idc004nc2節點中執行：
python3 submit_job_to_DevCloud.pyc idc004nc2
PS:因為有一定的網絡延遲，若命令無反應，可重復嘗試幾次該命令。
請耐心等待實驗狀態成為“C”，腳本執行完成，上傳的腳本位于當前文件目錄下，名為userscript.py, 其功能是將OpenVINO的人臉識別模型運行在NCS2上以得到性能參數。
比較不同CPU下NCS2的性能
根據剛才上傳的指令，將同樣的代碼上傳至idc008u2g節點。
上傳指令為：
python3 submit_job_to_DevCloud.pyc “目標節點名稱”
PS：該指令默認上傳當前目錄下的userscript.py腳本。
請對比不同CPU(Atom和 Core)的條件下，NCS2的性能是否有差異？
比較結果如下：
idc004nc2: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
執行命令:python3 submit_job_to_DevCloud.pyc idc004nc2
[Step 11/11] Dumping statistics report
Count: 260 iterations
Duration: 10297.15 ms
Latency: 158.08 ms
Throughput: 25.25 FPS
idc008u2g: Intel - atom e3950, intel-hd-505,myriad-1-VPU
執行命令:python3 submit_job_to_DevCloud.pyc idc008u2g
[Step 11/11] Dumping statistics report
Count: 260 iterations
Duration: 10294.75 ms
Latency: 157.99 ms
Throughput: 25.26 FPS
挑戰任務1:將推理任務部署在節點的不同推理設備上
修改userscript.py:
vi userscript.py
在第43行： target_device= “MYRIAD”
注：可使用“:wq”指令保存更改并退出該界面。
你可以在這里選擇你想要運行的設備："CPU/GPU/MYRIAD”
CPU：對應 英特爾中央處理器
GPU：對應 英特爾集成顯卡
MYRIAD：這個名稱對應的設備是剛才提到的NCS2
這里你可以自行發揮，嘗試使用不同的設備 或者Devcloud節點運行這個性能測試腳本
嘗試使用不同的設備 或者Devcloud節點運行這個性能測試執行結果如下：
設備：GPU
Devcloud節點：idc007xv5: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
執行命令:python3 submit_job_to_DevCloud.pyc idc007xv5
[Step 11/11] Dumping statistics report
Count: 724 iterations
Duration: 10031.90 ms
Latency: 27.45 ms
Throughput: 72.17 FPS
設備：CPU
Devcloud節點：idc007xv5: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
執行命令:python3 submit_job_to_DevCloud.pyc idc007xv5
[Step 11/11] Dumping statistics report
Count: 920 iterations
Duration: 10015.39 ms
Latency: 10.82 ms
Throughput: 91.86 FPS
target_device= “MYRIAD”
設備：MYRIAD
Devcloud節點：idc007xv5: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
執行命令:python3 submit_job_to_DevCloud.pyc idc007xv5
2022年 02月 21日 星期一 06:17:38 CST，設備：MYRIAD，運行腳本報錯 RuntimeError: Can not init Myriad device: NC_ERROR。
2022年 02月 21日 星期一 03:56:50 CST，網頁shell卡死失效，無法保存退出(:wq)，無執行結果。2022年 02月 21日 星期一 05:55:18 CST，ok處理好了，不是卡死是命令在web shell上無效，改用 ctrl+[ 退出INSERT模式就ok了。
挑戰任務2：打印出NCS2的工作溫度
請根據：hello_query_device.py 代碼中的關于溫度顯示的片段，更改userscript.py，使之可以顯示當前NCS2的工作溫度。
請在userscript.py的 line：136 后 添加適當的代碼，來顯示當前NCS2的溫度。
提示：請在確保target_device為“MYRIAD”的前提下，使用函數：self.ie.get_metric(metric_name=“DEVICE_THERMAL”,device_name=‘MYRIAD’ ) 獲取溫度。
答案userscript…py 位于上一級目錄的Solution文件夾中,你可以復制到當前文件夾進行使用。
2022年 02月 21日 星期一 04:03:53 CST，這個有難度，先跳過。
2.利用多硬件協同推理
初始化實驗目錄
#定義OV目錄
export OV=/opt/intel/openvino_2021/
#定義工作目錄
export WD=~/OV-300/02/LAB2/
#初始化OpenVINO
source $OV/bin/setupvars.sh
#進入工作目錄
cd $WD
不同模型的性能測試
我們為你準備了三個模型：
face-detection-adas-0001.xml
head-pose-estimation-adas-0001.xml
text-spotting-0003-recognizer-encoder.xml
請對userscript.py進行編輯：
在line 44： path_to_model="/app/face-detection-adas-0001.xml" 中對 face-detection-adas-0001.xml 進行替換，即可測試不同的模型
不同模型的性能測試執行結果如下：
設備：CPU
Devcloud節點：idc007xv5: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
模型：head-pose-estimation-adas-0001.xml
執行命令:python3 submit_job_to_DevCloud.pyc idc007xv5
[Step 11/11] Dumping statistics report
Count: 720 iterations
Duration: 10055.01 ms
Latency: 27.66 ms
Throughput: 71.61 FPS
設備：CPU
Devcloud節點：idc007xv5: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
模型：face-detection-adas-0001.xml
執行命令:python3 submit_job_to_DevCloud.pyc idc007xv5
[Step 11/11] Dumping statistics report
Count: 923 iterations
Duration: 10018.43 ms
Latency: 10.79 ms
Throughput: 92.13 FPS
2022年 02月 21日 星期一 05:27:26 CST，vi編輯userscript.py文件的時候，發現文件中的內容少了(可能是前面的實驗操作,操作失誤錯刪除了?)，少了line 44： path_to_model="/app/face-detection-adas-0001.xml"配置這段，這咋整…。
2022年 02月 21日 星期一 05:50:11 CST，系統又默認恢復了？？？。
使用多硬件協同推理
OpenVINO提供了多硬件協同推理的“MULTI”插件，你只需要編譯Target_device的對象，不需要改動原先代碼，便可以實現協同推理。
例如：target_device=“MULTI:CPU,GPU” ， 即可使用CPU+GPU協同推理 ,其中CPU(1st priority) and GPU (2nd priority)。
注：本實驗所有的GPU均為英特爾集成顯卡，在進行實驗之前，請務必確認運行的節點包含GPU設備(某些型號的至強處理器不包含GPU設備)。MYRIAD也是同理，請在實驗前確保實驗節點擁有該硬件！
使用多硬件協同推理測試執行結果如下：
target_device=“MULTI:CPU,GPU”
設備：MULTI:CPU,GPU
Devcloud節點：idc007xv5: Intel - core i5-6500te, intel-hd-530,myriad-1-VPU
執行命令:python3 submit_job_to_DevCloud.pyc idc007xv5
[Step 11/11] Dumping statistics report
Count: 1065 iterations
Duration: 10037.20 ms
Throughput: 106.11 FPS
進行性能對比實驗
請在idc004nc2節點下，完成如下表格并分析性能數據：
逐個參數修：vi userscript.py
target_device=“MULTI:CPU,GPU” //設備,line43
path_to_model="/app/head-pose-estimation-adas-0001.xml" //模型,line44
運行任務：python3 submit_job_to_DevCloud.pyc idc004nc2
2022年 02月 21日 星期一 06:33:15 CST，該睡覺了，睡醒再整了。
Intel DevCloud引導
由于實驗內容有限，暫時不列舉其他DevCloud平臺上有趣的動手實驗，以及超過30種邊緣設備，Atom，Xeon，Core應有盡有，更有11代TigerLake CPU設備等你來試，感興趣的同學請自行移至英特爾DevCloud官網進行體驗。
2022年 02月 21日 星期一 21:14:54 CST，更多設備的性能測試，自己到DevCloud官網體驗了。
第三課動手實驗：AI應用中的視頻處理-在線測試
1.測試當前設備的解碼密度
初始化環境
#定義OV目錄
export OV=/opt/intel/openvino_2021/
#定義工作目錄
export WD=~/OV-300/03/
#初始化OpenVINO
source $OV/bin/setupvars.sh
進行解碼密度測試
進入工作目錄
cd $WD
由于當前環境只有 CPU，且DevCloud只接受.py腳本。
所以需要你通過如下指令獲取及結果為25 FPS per channel的通道數：
bash decode.sh video1.mp4 CPU CPU 1
bash decode.sh video1.mp4 CPU CPU 10
bash decode.sh video1.mp4 CPU CPU 100
你也可以自行調整通道數，使之最后接近per-stream= 25FPS/channel。
請記錄下你的答案！
bash decode.sh video1.mp4 CPU CPU 1
Redistribute latency…
FpsCounter(1sec): total=740.71 fps, number-streams=1, per-stream=740.71 fps
FpsCounter(1sec): total=742.76 fps, number-streams=1, per-stream=742.76 fps
FpsCounter(1sec): total=732.41 fps, number-streams=1, per-stream=732.41 fps
FpsCounter(1sec): total=722.62 fps, number-streams=1, per-stream=722.62 fps
FPSCounter(average): total=732.91 fps, number-streams=1, per-stream=732.91 fps
bash decode.sh video1.mp4 CPU CPU 10
Redistribute latency…
FpsCounter(1sec): total=621.85 fps, number-streams=10, per-stream=62.19 fps (56.99, 63.98, 59.99, 57.99, 65.98, 61.99, 64.98, 61.99, 63.98, 63.98)
FpsCounter(1sec): total=621.26 fps, number-streams=10, per-stream=62.13 fps (68.59, 59.64, 59.64, 59.64, 59.64, 59.64, 64.61, 62.62, 63.62, 63.62)
FpsCounter(1sec): total=699.73 fps, number-streams=10, per-stream=69.97 fps (69.77, 69.77, 69.77, 67.78, 70.77, 69.77, 69.77, 68.78, 71.77, 71.77)
FpsCounter(1sec): total=713.92 fps, number-streams=10, per-stream=71.39 fps (71.99, 70.99, 71.99, 69.99, 70.99, 69.99, 71.99, 71.99, 71.99, 71.99)
FpsCounter(1sec): total=651.90 fps, number-streams=10, per-stream=65.19 fps (61.99, 62.99, 67.99, 64.99, 61.99, 63.99, 65.99, 65.99, 67.99, 67.99)
bash decode.sh video1.mp4 CPU CPU 100
Redistribute latency…
New clock: GstSystemClock0 %)
FpsCounter(1sec): total=134.83 fps, number-streams=100, per-stream=1.35 fps (1.00, 1.00, 1.00, 1.00, 1.00, 1.00, 2.00, 1.00, 1.00, 2.00, 2.00, 1.00, 2.00, 2.00, 1.00, 1.00, 1.00, 1.00, 2.00, 1.00, 1.00, 1.00, 2.00, 1.00, 1.00, 2.00, 1.00, 2.00, 1.00, 1.00, 1.00, 1.00, 1.00, 1.00, 1.00, 2.00, 2.00, 2.00, 2.00, 2.00, 1.00, 1.00, 1.00, 2.00, 1.00, 2.00, 3.00, 2.00, 1.00, 2.00, 1.00, 1.00, 1.00, 1.00, 1.00, 1.00, 1.00, 2.00, 1.00, 2.00, 1.00, 1.00, 2.00, 2.00, 1.00, 1.00, 2.00, 1.00, 2.00, 1.00, 2.00, 1.00, 1.00, 1.00, 1.00, 1.00, 2.00, 1.00, 1.00, 1.00, 2.00, 2.00, 2.00, 2.00, 1.00, 1.00, 1.00, 2.00, 1.00, 1.00, 1.00, 1.00, 1.00, 1.00, 1.00, 2.00, 1.00, 2.00, 1.00, 1.00)
FpsCounter(1sec): total=367.22 fps, number-streams=100, per-stream=3.67 fps (2.00, 2.99, 2.99, 2.99, 5.99, 2.99, 1.00, 2.00, 2.00, 2.99, 2.00, 2.99, 1.00, 2.00, 8.98, 2.99, 1.00, 2.00, 2.00, 2.99, 1.00, 2.99, 5.99, 2.00, 1.00, 3.99, 5.99, 1.00, 8.98, 2.99, 2.99, 2.00, 2.99, 2.00, 2.00, 2.00, 14.97, 2.00, 4.99, 1.00, 2.99, 2.00, 2.99, 10.98, 2.00, 8.98, 7.98, 2.00, 2.99, 2.00, 2.99, 2.99, 2.00, 2.99, 1.00, 2.00, 2.99, 1.00, 2.99, 2.99, 2.99, 10.98, 2.99, 2.00, 9.98, 2.00, 2.99, 2.99, 1.00, 2.99, 2.00, 2.00, 7.98, 10.98, 2.99, 2.99, 3.99, 2.99, 2.99, 5.99, 16.96, 6.99, 2.99, 1.00, 2.99, 2.99, 2.00, 14.97, 2.99, 2.00, 1.00, 4.99, 2.99, 2.99, 2.99, 2.00, 2.99, 2.99, 2.99, 2.00)
FpsCounter(1sec): total=659.83 fps, number-streams=100, per-stream=6.60 fps (5.00, 6.00, 6.00, 6.00, 7.00, 4.00, 7.00, 8.00, 9.00, 8.00, 5.00, 9.00, 7.00, 4.00, 7.00, 6.00, 6.00, 3.00, 7.00, 6.00, 6.00, 7.00, 7.00, 8.00, 7.00, 9.00, 6.00, 7.00, 6.00, 9.00, 8.00, 5.00, 5.00, 6.00, 7.00, 6.00, 4.00, 6.00, 9.00, 6.00, 5.00, 8.00, 8.00, 9.00, 8.00, 4.00, 6.00, 9.00, 5.00, 7.00, 9.00, 8.00, 6.00, 6.00, 6.00, 9.00, 9.00, 5.00, 8.00, 7.00, 6.00, 5.00, 10.00, 7.00, 2.00, 6.00, 4.00, 6.00, 5.00, 8.00, 7.00, 9.00, 4.00, 5.00, 6.00, 5.00, 8.00, 7.00, 5.00, 7.00, 3.00, 9.00, 9.00, 5.00, 7.00, 7.00, 10.00, 3.00, 9.00, 7.00, 7.00, 8.00, 6.00, 7.00, 6.00, 6.00, 9.00, 7.00, 6.00, 5.00)
FpsCounter(1sec): total=702.32 fps, number-streams=100, per-stream=7.02 fps (5.99, 8.98, 5.99, 6.98, 6.98, 5.99, 5.99, 7.98, 7.98, 7.98, 8.98, 4.99, 8.98, 7.98, 6.98, 8.98, 5.99, 7.98, 7.98, 5.99, 5.99, 4.99, 7.98, 8.98, 6.98, 6.98, 6.98, 5.99, 6.98, 5.99, 5.99, 5.99, 6.98, 8.98, 6.98, 7.98, 7.98, 5.99, 6.98, 7.98, 6.98, 7.98, 6.98, 6.98, 5.99, 7.98, 7.98, 6.98, 6.98, 3.99, 4.99, 7.98, 6.98, 5.99, 6.98, 7.98, 7.98, 7.98, 5.99, 6.98, 5.99, 6.98, 5.99, 5.99, 8.98, 6.98, 5.99, 8.98, 5.99, 7.98, 4.99, 7.98, 6.98, 7.98, 6.98, 6.98, 6.98, 6.98, 6.98, 6.98, 6.98, 5.99, 6.98, 5.99, 7.98, 6.98, 6.98, 7.98, 7.98, 6.98, 4.99, 7.98, 5.99, 7.98, 5.99, 7.98, 7.98, 6.98, 5.99, 5.99)
bash decode.sh video1.mp4 CPU CPU 50( 通道數接近per-stream= 25FPS/channel)
Redistribute latency…
New clock: GstSystemClock
FpsCounter(1sec): total=531.74 fps, number-streams=25, per-stream=21.27 fps (24.94, 23.94, 20.95, 19.95, 20.95, 21.95, 18.95, 20.95, 19.95, 23.94, 20.95, 12.97, 23.94, 20.95, 17.96, 23.94, 13.97, 19.95, 23.94, 26.94, 24.94, 22.95, 20.95, 19.95, 20.95)
FpsCounter(1sec): total=750.60 fps, number-streams=25, per-stream=30.02 fps (31.94, 30.94, 29.94, 27.95, 28.95, 31.94, 31.94, 28.95, 29.94, 30.94, 30.94, 28.95, 30.94, 30.94, 30.94, 29.94, 27.95, 30.94, 29.94, 28.95, 31.94, 29.94, 27.95, 27.95, 28.95)
FpsCounter(1sec): total=683.31 fps, number-streams=25, per-stream=27.33 fps (26.97, 26.97, 28.97, 25.97, 29.97, 27.97, 26.97, 29.97, 27.97, 24.97, 25.97, 25.97, 26.97, 30.97, 26.97, 29.97, 25.97, 28.97, 27.97, 25.97, 24.97, 28.97, 26.97, 25.97, 23.98)
FpsCounter(1sec): total=732.91 fps, number-streams=25, per-stream=29.32 fps (27.96, 29.96, 27.96, 29.96, 25.96, 30.95, 27.96, 27.96, 27.96, 31.95, 29.96, 29.96, 31.95, 29.96, 29.96, 27.96, 31.95, 28.96, 27.96, 29.96, 29.96, 27.96, 27.96, 29.96, 29.96)
FpsCounter(1sec): total=734.54 fps, number-streams=25, per-stream=29.38 fps (27.98, 30.98, 25.98, 29.98, 27.98, 32.98, 27.98, 27.98, 28.98, 29.98, 29.98, 31.98, 29.98, 28.98, 27.98, 27.98, 29.98, 24.98, 29.98, 29.98, 31.98, 27.98, 27.98, 31.98, 31.98)
第四課動手實驗：如何進行AI推理的性能對比-在線測試
1.數據精度對推理性能的影響
初始化環境
#定義OV目錄
export OV=/opt/intel/openvino_2021/
#定義工作目錄
export WD=~/OV-300/04/
#初始化OpenVINO
source $OV/bin/setupvars.sh
編譯示例
#一鍵編譯OpenVINO中的C++ sample
source $OV/inference_engine/samples/cpp/build_samples.sh
開始實驗
開始實驗：
cd $WD
將剛才編譯完成的benchmark_app 復制到當前文件夾：
cp /home/dc2-user/inference_engine_04_samples_build/intel64/Release/benchmark_app $WD
獲取模型
下載模型：
python3 $OV/deployment_tools/tools/model_downloader/downloader.py --name face-detection-adas-0001 -o $WD
進行不同精度的模型性能測試
./benchmark_app -m intel/face-detection-adas-0001/FP32/face-detection-adas-0001.xml
./benchmark_app -m intel/face-detection-adas-0001/FP16/face-detection-adas-0001.xml
./benchmark_app -m intel/face-detection-adas-0001/FP16-INT8/face-detection-adas-0001.xml
比較不同精度的模型性能，以及模型的推理延遲或者是讀取網絡的時間…看看有什么不一樣。
不同精度的模型性能如下：
挑戰任務
請輸入：
./benchmark_app -help
以獲得更多benchmark_app 的可評估參數。
請嘗試設置不同的參數：
number of streams (-nstreams)
batch size (-b)
number of inderence request (-nireq)
number of threads (-nthreads)
例如：./benchmark_app -m intel/face-detection-adas-0001/FP32/face-detection-adas-0001.xml -b 2 -nireq 2 -nthreads 4
來獲取當前設備的最佳性能
第六課動手實驗：AI應用中的音頻處理-在線測試
1.聲音檢測實驗
初始化環境
#定義工作目錄
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/06/Lab1/
export MODELS_PATH=~/OV-300/06/Lab1/
#初始化OpenVINO
source $OV/bin/setupvars.sh
開始實驗
#進入實驗目錄
cd $WD
#下載并使用MO轉換聲音識別模型
bash download_audio_models.sh
#通過vi查看模型拓撲結構
vi $MODELS_PATH/audio_models/aclnet/FP32/aclnet.xml
注：可以看到該xml的版本以及 數據精度為：FP32，input shape=“1, 1, 1, 16000”。使用“:q”指令退出該界面。
播放需要檢測的聲音文件
#使用show命令，播放mp3
show how_are_you_doing.mp3
注：由于功能限制，必須手動逐字輸入該命令。并且由于限制，平臺只能夠播放MP3格式文件，實驗運行的聲音材料為WAV格式，本平臺事先已經將WAV轉換成MP3格式可供使用。
運行Demo
#運行指令：
bash audio_event_detection.sh
注：屏幕上將會打印DL-Streamer的pipeline指令和該指令的全部輸出結果
#運行篩選結果的指令,來查看探測到的聲音種類:
bash audio_event_detection.sh | grep “label”:" | sed ‘s/label_id.*//’ |sed ‘s/.*label"/==>/’
探測到的聲音種類：
挑戰任務：提高程序的識別準確度
#你可以從音頻文件聽到沒有昆蟲的聲音，但是程序檢測到了昆蟲的聲音。請你思考一下，如何改善這個問題？
注：檢測每個種類的聲音是否村子都會存在一個臨界值，也就是檢測閾值
#修改aclnet.json 腳本來實現你的猜想：
vi $WD/model_proc/aclnet.json
解決方案：嘗試 “Insects (flying)” 在 0.5 至0.9 之間更改，更改后保存完再次運行audio_event_detection.sh進行測試，直至檢測不到昆蟲噪音。
{
“index”: 7,
“label”: “Insects (flying)”,
“threshold”: 0.5 //修改為上臨界值0.9
},
檢測結果(無昆蟲噪音了)：
==>:“Rain”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
==>:“Speech”,"
思考任務
你可以上傳你的WAV文件進行測試，不過若是想使用平臺進行播放mp3，記得使用：
ffmpeg -i xxx.wav output.mp3
轉換成MP3進行播放哦，并且需要修改audio_event_detection.sh里面的輸入wav名稱。
注：上傳與下載文件的教程在頁面上角幫助手冊中可以得到。該實驗可按確認鍵跳過。
2022年 02月 21日 星期一 22:47:34 CST，后面還有任務，先跳過。
2.聲音識別實驗
初始化環境
#定義工作目錄
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/06/Lab2/
#添加OpenVINO Python API路徑
export PYTHONPATH="$PYTHONPATH:/home/dc2-user/omz_demos_build/intel64/Release/lib/"
#初始化OpenVINO
source $OV/bin/setupvars.sh
#進入工作目錄
cd $WD
將原生模型轉換為IR格式
#使用converter.py將事先準備好的mozilla-deepspeech-0.6.1進行IR轉換 ：
python3 $OV/deployment_tools/tools/model_downloader/converter.py --name mozilla-deepspeech-0.6.1 -o $WD
運行聲音識別Demo
#播放待識別的聲音文件：
show how_are_you_doing.mp3
#運行聲音識別示例：
python3 $OV/deployment_tools/inference_engine/demos/speech_recognition_deepspeech_demo/python/speech_recognition_deepspeech_demo.py -m ./public/mozilla-deepspeech-0.6.1/FP32/mozilla-deepspeech-0.6.1.xml -i how_are_you_doing.wav -p mds06x_en
注：音頻輸入為wav格式, 你可以在屏幕上看到剛才的音頻的識別結果。
思考任務
#使用你自帶的wav文件進行聲音識別示例，看看能否正確識別到文件中的聲音。
#可以嘗試使用中文或者英文作為聲音輸入，并且實驗探究一下它們識別的準確性。
2022年 02月 21日 星期一 22:59:47 CST，后面還有任務，先跳過。
第七課動手實驗：如何實現DL-streamer包含的高級功能?-在線測試
1.使用DL-streamer進行表情識別
初始化環境
#定義工作目錄
export OV=/opt/intel/openvino_2021/
export WD=~/OV-300/07/
#初始化OpenVINO
source $OV/bin/setupvars.sh
開始實驗
#進入實驗目錄
cd $WD
#播放原始視頻示例：
show video1.mp4
運行識別示例
#運行人臉識別和分類示例：
bash face_detection_and_classification.sh video1.mp4
#獲得output.mp4,獲得可播放的標準MP4格式，使用：
ffmpeg -i output.mp4 output_1.mp4
#播放結果視頻：
show output_1.mp4
挑戰任務：增加情緒識別功能
#請你思考如何在年齡/性別識別的基礎上，怎么情緒識別的功能：
修改 postproc_callbacks/age_gender_classification.py 腳本，我們往里添加的代碼是:
if 'prob_emotion' == layer_name:emotions = ["neutral", "happy", "sad", "surprise", "anger"]tensor.set_label(emotions[numpy.argmax(data)])continue修改 face_detection_and_classification.sh 腳本。需要和 age-gender-recognition模型一樣，同理增加emotion-recognition的部分，所用 模型為emotions-recognition-retail-003.xml
注：答案可以在Solution中獲取
cd Solution
#查看age_gender_classification.py/face_detection_and_classification.sh腳本的改動
bash face_detection_and_classification.sh video1.mp4
ffmpeg -i output.mp4 output_1.mp4
#播放結果視頻：
show output_1.mp4
實驗工作目錄文件列表如下： dc2-user@10-0-13-46:~/OV-300/07$ ll total 36760 drwxrwxr-x 4 dc2-user dc2-user 4096 Feb 22 00:08 ./ drwxrwxr-x 9 dc2-user dc2-user 4096 Nov 29 22:04 ../ -rw-rw-r-- 1 dc2-user dc2-user 1926 Nov 30 16:10 face_detection_and_classification.sh -rw-rw-r-- 1 dc2-user dc2-user 5760389 Feb 21 23:25 output_1.mp4 -rw-rw-r-- 1 dc2-user dc2-user 15066315 Feb 22 00:17 output.mp4 drwxrwxr-x 3 dc2-user dc2-user 4096 Feb 22 00:05 postproc_callbacks/ drwxrwxr-x 3 dc2-user dc2-user 4096 Feb 22 00:16 Solution/ -rw-rw-r-- 1 dc2-user dc2-user 16788193 Oct 25 03:22 video1.mp4 dc2-user@10-0-13-46:~/OV-300/07$
postproc_callbacks/目錄：
dc2-user@10-0-13-46:~/OV-300/07/postproc_callbacks$ ll total 20 drwxrwxr-x 3 dc2-user dc2-user 4096 Feb 22 00:05 ./ drwxrwxr-x 4 dc2-user dc2-user 4096 Feb 22 00:08 ../ -rw-rw-r-- 1 dc2-user dc2-user 1067 Feb 22 00:05 age_gender_classification.py drwxrwxr-x 2 dc2-user dc2-user 4096 Feb 22 00:16 __pycache__/ -rw-rw-r-- 1 dc2-user dc2-user 1382 Oct 25 03:22 ssd_object_detection.py dc2-user@10-0-13-46:~/OV-300/07/postproc_callbacks$Solution目錄：
dc2-user@10-0-13-46:~/OV-300/07/Solution$ ll total 24 drwxrwxr-x 3 dc2-user dc2-user 4096 Feb 22 00:16 ./ drwxrwxr-x 4 dc2-user dc2-user 4096 Feb 22 00:08 ../ -rw-rw-r-- 1 dc2-user dc2-user 1087 Oct 25 03:22 age_gender_classification.py -rw-rw-r-- 1 dc2-user dc2-user 2103 Nov 30 16:44 face_detection_and_classification.sh drwxrwxr-x 2 dc2-user dc2-user 4096 Nov 30 16:45 __pycache__/ -rw-rw-r-- 1 dc2-user dc2-user 1397 Oct 25 03:22 ssd_object_detection.py dc2-user@10-0-13-46:~/OV-300/07/Solution$~/OV-300/07/Solution/age_gender_classification.py
# ============================================================================== # Copyright (C) 2018-2020 Intel Corporation # # SPDX-License-Identifier: MIT # ==============================================================================from gstgva import VideoFrame import numpydef process_frame(frame: VideoFrame) -> bool:for roi in frame.regions():for tensor in roi.tensors():if tensor.name() == 'detection':continuelayer_name = tensor.layer_name()data = tensor.data()if 'age_conv3' == layer_name:tensor.set_label(str(int(data[0] * 100)))continueif 'prob' == layer_name:tensor.set_label(" M " if data[1] > 0.5 else " F ")continueif 'prob_emotion' == layer_name:emotions = ["neutral", "happy", "sad", "surprise", "anger"]#print(data, emotions[numpy.argmax(data)])tensor.set_label(emotions[numpy.argmax(data)])continuereturn True2022年 02月 22日 星期二 00:40:30 CST，添加line23-27行代碼。
if 'prob_emotion' == layer_name:emotions = ["neutral", "happy", "sad", "surprise", "anger"]#print(data, emotions[numpy.argmax(data)])tensor.set_label(emotions[numpy.argmax(data)])continue~/OV-300/07/Solution/face_detection_and_classification.sh
#!/bin/bash # ============================================================================== # Copyright (C) 2018-2021 Intel Corporation # # SPDX-License-Identifier: MIT # ==============================================================================set -eINPUT=${1:-https://github.com/intel-iot-devkit/sample-videos/raw/master/head-pose-face-detection-female-and-male.mp4}DEVICE=${2:-CPU}if [[ $3 == "display" ]] || [[ -z $3 ]]; thenSINK_ELEMENT="gvawatermark ! videoconvert !avenc_mpeg4 ! mp4mux! filesink location=output.mp4" elif [[ $3 == "fps" ]]; thenSINK_ELEMENT="gvafpscounter ! fakesink async=false " elseecho Error wrong value for SINK_ELEMENT parameterecho Possible values: display - render, fps - show FPS onlyexit fiMODEL1=face-detection-adas-0001 MODEL2=age-gender-recognition-retail-0013SCRIPTDIR="$(dirname "$(realpath "$0")")" PYTHON_SCRIPT1=$SCRIPTDIR/postproc_callbacks/ssd_object_detection.py PYTHON_SCRIPT2=$SCRIPTDIR/postproc_callbacks/age_gender_classification.pyif [[ $INPUT == "/dev/video"* ]]; thenSOURCE_ELEMENT="v4l2src device=${INPUT}" elif [[ $INPUT == *"://"* ]]; thenSOURCE_ELEMENT="urisourcebin buffer-size=4096 uri=${INPUT}" elseSOURCE_ELEMENT="filesrc location=${INPUT}" fiDETECT_MODEL_PATH=${MODELS_PATH}/intel/face-detection-adas-0001/FP32/face-detection-adas-0001.xml CLASS_MODEL_PATH=${MODELS_PATH}/intel/age-gender-recognition-retail-0013/FP32/age-gender-recognition-retail-0013.xml EMOTION_MODEL_PATH=${MODELS_PATH}/intel/emotions-recognition-retail-0003/FP32/emotions-recognition-retail-0003.xmlecho Running sample with the following parameters: echo GST_PLUGIN_PATH=${GST_PLUGIN_PATH}PIPELINE="gst-launch-1.0 \ $SOURCE_ELEMENT ! decodebin ! \ gvainference model=$DETECT_MODEL_PATH device=$DEVICE ! queue ! \ gvapython module=$PYTHON_SCRIPT1 ! \ gvaclassify model=$CLASS_MODEL_PATH device=$DEVICE ! queue ! \ gvaclassify model=$EMOTION_MODEL_PATH device=$DEVICE ! queue ! \ gvapython module=$PYTHON_SCRIPT2 ! \ $SINK_ELEMENT"echo ${PIPELINE} PYTHONPATH=$PYTHONPATH:$(dirname "$0")/../../../../python \ ${PIPELINE}2022年 02月 22日 星期二 00:40:30 CST，添加line41行代碼。
EMOTION_MODEL_PATH=${MODELS_PATH}/intel/emotions-recognition-retail-0003/FP32/emotions-recognition-retail-0003.xml 2022年 02月 22日 星期二 00:56:06 CST，這相應配置都修改了，運行怎么無效果呀？？？沒有情緒識別信息輸出。第八課動手實驗：整合實現AI應用中的音視頻處理-在線測試
1.視頻+音頻處理實驗
實驗目標
你的任務：
構建一個包含視頻處理與音頻處理的pipeline流水線程序
在OV-300/08/目錄下，這些是你擁有的資源：
在/Models/目錄下
音頻檢測模型
/Models/audio_detection/FP16/aclnet.xml
目標檢測模型
/Models/person-vehicle-bike-detection-crossroad-0078/FP16/person-vehicle-bike-detection-crossroad-0078.xml
object.list.yml
A list of objects to detect：目標列表
sound.list.yml
A list of sounds to detect：聲音種類列表
Road.mp4
輸入MP4（包含了音頻+視頻）
audio_video_detect.py
用于音頻檢測的可用代碼
進行實驗準備
#初始化環境
export OV= （填寫你的答案）
export OV=/opt/intel/openvino_2021/
export WD=（填寫你的答案）
export WD=/home/dc2-user/OV-300/08
#初始化 OpenVINO
（填寫你的答案）
source $OV/bin/setupvars.sh
進行實驗
#進入實驗目錄
（填寫你的答案）cd $WD
#播放待檢測的視頻road.mp4
（填寫你的答案）show road.mp4
#編輯run.sh 來完成實驗目標
（填寫你的答案）vi run.sh
注：audio pipeline參考 /opt/intel/openvino_2021/data_processing/dl_streamer/samples/gst_launch/audio_detect/audio_event_detection.sh中截取你需要的音頻處理command line部分（注意模型和Json的名稱相對應），來添加aclnet.xml的音頻檢測功能，粘貼至run.sh中。
video-decode-pipelide參考/opt/intel/openvino_2021/data_processing/dl_streamer/samples/gst_launch/vehicle_pedestrian_tracking/vehicle_pedestrian_tracking.sh來添加 person-vehicle-bike-detection-crossroad-0078模型的車輛行人識別功能。
/home/dc2-user/OV-300/08 tree羅列一下所有目錄、文件： dc2-user@10-0-255-63:~/OV-300/08$ pwd /home/dc2-user/OV-300/08 dc2-user@10-0-255-63:~/OV-300/08$ ll total 48780 drwxrwxr-x 5 dc2-user dc2-user 4096 Feb 22 02:08 ./ drwxrwxr-x 9 dc2-user dc2-user 4096 Nov 29 22:04 ../ -rw-rw-r-- 1 dc2-user dc2-user 3146 Nov 30 19:39 audio_video_detect.py drwxrwxr-x 4 dc2-user dc2-user 4096 Oct 25 11:32 Models/ -rw-rw-r-- 1 dc2-user dc2-user 64 Nov 30 18:41 object.list.yml -rw-rw-r-- 1 dc2-user dc2-user 1340 Oct 25 03:22 OV-300.08.How drwxrwxr-x 2 dc2-user dc2-user 4096 Feb 22 02:05 __pycache__/ -rw-rw-r-- 1 dc2-user dc2-user 49906354 Oct 25 03:22 road.mp4 -rw-rw-r-- 1 dc2-user dc2-user 1822 Feb 22 02:05 run.sh drwxrwxr-x 3 dc2-user dc2-user 4096 Nov 30 19:39 Solution/ -rw-rw-r-- 1 dc2-user dc2-user 72 Nov 30 18:40 sound.list.yml dc2-user@10-0-255-63:~/OV-300/08$ dc2-user@10-0-255-63:~/OV-300/08$ pwd /home/dc2-user/OV-300/08 dc2-user@10-0-255-63:~/OV-300/08$ tree -L 5 . ├── audio_video_detect.py ├── Models │ ├── audio_detection │ │ ├── aclnet.json │ │ └── FP16 │ │ ├── aclnet.bin │ │ ├── aclnet.mapping │ │ └── aclnet.xml │ └── person-vehicle-bike-detection-crossroad-0078 │ ├── FP16 │ │ ├── person-vehicle-bike-detection-crossroad-0078.bin │ │ └── person-vehicle-bike-detection-crossroad-0078.xml │ └── person-vehicle-bike-detection-crossroad-0078.json ├── object.list.yml ├── OV-300.08.How ├── __pycache__ │ └── audio_video_detect.cpython-36.pyc ├── road.mp4 ├── run.sh ├── Solution │ ├── audio_event_detection.sh │ ├── audio_video_detect.py │ ├── object.list.yml │ ├── __pycache__ │ │ └── audio_video_detect.cpython-36.pyc │ ├── run.sh │ ├── sound.list.yml │ └── starting-point-run.sh └── sound.list.yml8 directories, 21 files dc2-user@10-0-255-63:~/OV-300/08$
完成實驗
#請在完成run.sh后運行腳本，請把輸出結果保存到本地，名稱為“road.watermarked.mp4”：
（填寫你的答案）
bash run.sh road.mp4
#通過ffmpeg轉換成可播放的格式:
ffmpeg -i road.watermarked.mp4 output.mp4
#查看結果 你能看到視頻左上角會顯示偵測到聲音類型：
show output.mp4
注：請將output.mp4生成在~/OV-300/08/目錄下，以免影響實驗結果判定。實驗操作手冊的答案位于當前文件夾下，名為OV-300.08.How文件。run.sh的代碼參考答案位于$WD/Solution/run.sh
/home/dc2-user/OV-300/08/OV-300.08.How
OpenVINO 300Lesson 08Lab 1 ============================================================================= Your task: Build a pipeline that will process both video and audioIn the directory you can find:under /Models/The audio detection model/Models/audio_detection/FP16/aclnet.xmlThe object detection model/Models/person-vehicle-bike-detection-crossroad-0078/FP16/person-vehicle-bike-detection-crossroad-0078.xmlobject.list.ymlA list of objects to detectsound.list.ymlA list of sounds to detectRoad.mp4Input (audio + Video)audio_video_detect.pypython script to add the audio detection to the GST-buffer =============================================================================1) Get startedexport OV=/opt/intel/openvino_2021/ export WD=~/OV-300/08/Initialize OpenVINO source $OV/bin/setupvars.shThis is the file to edit ---->>> your baseline is run.sh2) Copy the audio detection pipeline from the DL-streamer samples..vi /opt/intel/openvino_2021/data_processing/dl_streamer/samples/gst_launch/audio_detect/audio_event_detection.sh 3) Results could be found under Solutions directory ./Solution/run.sh Just copy to your directory and run You can see the result video in Road.watermarked.mp4 or displayed to screen (need to edit run.sh to change that selection)/home/dc2-user/OV-300/08/Solution/run.sh
#Copyright (C) 2018-2021 Intel Corporation#Licensed under the Apache License, Version 2.0 (the "License");INPUT=${WD}/road.mp4 AUDIO_MODEL=${WD}/Models/audio_detection/FP16/aclnet.xml AUDIO_MODEL_PROC=${WD}/Models/audio_detection/aclnet.jsonDETECTION_MODEL=${WD}/Models/person-vehicle-bike-detection-crossroad-0078/FP16/person-vehicle-bike-detection-crossroad-0078.xml DETECTION_MODEL_PROC=${WD}/Models/person-vehicle-bike-detection-crossroad-0078/person-vehicle-bike-detection-crossroad-0078.jsongst-launch-1.0 uridecodebin uri=file:${INPUT} name=front_end \ front_end. ! queue ! \ audioresample ! audioconvert ! audio/x-raw, channels=1,format=S16LE,rate=16000 ! audiomixer output-buffer-duration=100000000 ! \ gvaaudiodetect model=$AUDIO_MODEL model-proc=$AUDIO_MODEL_PROC sliding-window=0.2 !\ gvametaconvert ! gvametapublish file-format=json-lines file-path=/tmp/audio_event_stream ! audioconvert !\ fakesink \ front_end. ! queue ! \ gvadetect model=$DETECTION_MODEL model-proc=$DETECTION_MODEL_PROC ! \ gvapython module=${WD}/audio_video_detect.py class=AudioEventWatermark ! \ videoconvert ! gvawatermark ! videoconvert ! avenc_mpeg4!\ mpegtsmux ! filesink location=road.watermarked.mp4#===> for saving the output to a file #gvawatermark ! videoconvert ! x264enc key-int-max=30 speed-preset=fast tune=zerolatency !\ #mpegtsmux ! filesink location=Road.watermarked.mp4#Replace the last 2 lines with this line to present the video to screen. #videoconvert ! gvawatermark ! ximagesink
2022年 02月 22日 星期二 02:31:27 CST，OK，實驗完成！全部實驗完成！
BEGIN:2022-02-20 23:53:49
END:2022年 02月 22日 星期二 02:31:27 CST
OpenVINO高級課程結業證書
您已完成 “英特爾? OpenVINO?工具套件高級課程” 學習
恭喜您獲得“英特爾? OpenVINO?工具套件高級課程 ”專屬證書！證書編號：L0102022022201041003，您可以在CSDN官網查詢，查詢地址：https://edu.csdn.net/cert?username=u014132947 。
Ok完成
總結
以上是生活随笔為你收集整理的英特尔OpenVINO工具套件高级课程实验操作记录与学习总结的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 视频教程-MVC+EF+LayUI框架的
- 下一篇： Tomcat之Directory Lis