AI包括兩部分：

1.廣義的訓練(含采集，特征工程以及狹義的訓練和驗證)

2.inference場景（講人話就是加載模型進行測試）。

?

上面兩個場景在初學者眼里都是一臺電腦上跑著玩玩。

因為深度學習模型比較龐大，所以加載(測試)速度緩慢。

所以出來了一系列的解決方案，例如：

百度的EdgeBoard和微軟的Project Brainware.

?

這兩個東西干嘛的？

講人話：都是用FPGA和SOC設計一個嵌入式方案，

但是，這僅僅是用來加速你模型的測試的，并不是用于加速你的訓練。

所以上述這兩玩意兒和你打AI比賽沒啥關系，該用GPU還是繼續使用GPU去。

?

所以現在，你們也能明白，上述兩個產品為啥取名叫叫做：

“終端計算加速方案”，

加速的并不是深度學習（因為“學習”本身就是training的意思），而是深度模型的測試。

所以在一些比較學術化的上下文中[2]，會看到所謂的"inference",其實就是加速測試的意思。

?

?

引用[1]中的話：

FPGA適合做推理，做訓練不如GPU

?

從[3]中也可以看到，各種指標僅僅針對模型測試時間，而不是模型訓練時間，

更加可以肯定，此類產品對于我們打比賽是沒有幫助的，所以不要去買。

?

另外，經常聽到的所謂的"AI模型終端部署"的說法，其實就是：

把AI模型下載到上述產品或者云服務器、手機以及其他移動設備中，然后通過測試的意思。

?

另外，所謂的邊緣計算，在AI圖像這一塊，也可以狹義角度上認為是加速測試,例如谷歌的Edge TPU.

但是谷歌的Cloud TPU和Edge TPU是兩碼事．

邊緣計算雖然能提高終端性能，但是也會增加用戶購買產品的成本．

?

?

Reference:

[1]FPGA實現神經網絡加速的Hello World

[2]https://www.zhihu.com/question/46692744/answer/158897410

[3]【EdgeBoard體驗】性能評測

?

?

總結

以上是生活随笔為你收集整理的所谓的inference场景与深度学习终端加速器以及边缘计算和雾计算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。