AI 沒有走向低潮，而是在催生大量的應用。但大量的 AI 的應用非常場景化，既需要成熟的 CPU 和 GPU，也需要全新的 AI 處理器。IPU（Intelligence Processing Unit）就是一種為 AI 計算而生的革命性架構，如今，IPU 已經在金融、醫療、電信、機器人、云和互聯網等領域取得成效。

　　隨著英國初創公司的 Graphcore 的 IPU 在 AI 應用市場的規模化落地，第三類 AI 處理器受到的關注度越來越高的同時，但 IPU 能否更好完成 CPU 和 GPU 不擅長的 AI 任務成為當之無愧的革命性架構？

　　IPU 如何跨過芯片與 AI 應用之間的鴻溝？

　　去年底，雷鋒網的《為 AI 顛覆 GPU！計算機史上迎來第三個革命性架構 IPU》一文已經解讀了 Graphcore IPU 架構的獨特之處。這里再稍作介紹，Graphcore 已經量產的 IPU 型號為 GC2，處理器內部有 1216 個 IPU Tiles，每個 Tile 里面有獨立的 IPU 核作為計算以及 In Processor Memory 即處理器之內的內存。整個 GC2 處理器總共有 7296 個線程，能夠支持 7296 個程序在并行的運行。

　　基于臺積電 16nm 工藝集成 236 億個晶體管的 GC2 在 120 瓦的功耗下有 125TFlops 的混合精度、300M 的 SRAM 能夠把完整的模型放在片內，另外內存的帶寬有 15TB/s、片上的交換是 8TB/s，片間的 IPU-Links 是 2.5Tbps。

　　也就是說，IPU 通過分布式的片上存儲架構突破了 AI 芯片的存儲墻瓶頸。但正如 Graphcore 銷售副總裁兼中國區總經理盧濤在近日的一場媒體分享會上所言：“從一個芯片到落地中間有很多 gap。包括是否有比較好的工具鏈、豐富的軟件以及豐富的軟件庫支持，還有對主流算法、框架以及操作系統的支持。”

　　這就意味著，只有通過易用的軟件將芯片的優勢發揮出來 AI 芯片才能更好地落地。對于 IPU 而言，由于架構的特色，解決并行硬件的高效編程是一個非常大的課題。為此，Graphcore 在 GC2 中采用了谷歌、Facebook、百度這些構建大規模數據中心集群會使用的 BSP（Bulk Synchronous Parallel）技術 ，通過硬件支持 BSP 協議，并通過 BSP 協議把整個計算邏輯分成計算、同步、交換。

　　

　　盧濤說：“對軟件工程師或者開發者來說，采用了 BSP 后就非常易于編程，因為不用處理locks。對用戶來說，也不用管這里面是 1216 個核心（Tile）還是 7000 多個線程、任務具體在哪個核上執行，這是一個非常用戶友好的創新。”

　　在此基礎上，Graphcore 推出了在機器學習框架軟件和硬件之間基于計算圖的整套工具鏈和庫的 Poplar 是軟件棧。據悉，Poplar 目前已經提供 750 個高性能計算元素的 50 多種優化功能，支持標準機器學習框架，如 TensorFlow1、2，ONNX 和 PyTorch，很快也會支持 PaddlePaddle。

　　另外，可以支持容器化部署，能夠快速啟動并且運行。標準生態方面支持 Docker、Kubernetes，還有像微軟的 Hyper-v 等虛擬化技術和安全技術。操作系統支持廣泛應用的三個 Linux 發行版：ubuntu、RedHat Enterprise Linux、CentOS。

　　今年 5 月，Graphcore 又推出了名為 PopVision Graph Analyser 的分析工具，開發者、研究者在使用 IPU 進行編程的時候，可以通過 PopVision 這個可視化的圖形展示工具來分析軟件運行的情況、效率調試調優等。同月也上線了 Poplar 開發者文檔和社區。

　　目前，基于 IPU 的一些應用已經覆蓋了機器學習的各個應用領域，包括自然語言處理、圖像/視頻處理、時序分析、推薦/排名及概率模型。Graphcore 在 Github 不僅提供模型移植的文章，還有豐富的應用案例和模型。

　　還有一個關鍵的問題，開發者把模型遷移到 IPU 需要進行代碼級修改嗎？盧濤對雷鋒網表示：“AI 的開發者 90% 都使用開源框架，開發語言是 Python，對于這類開發者，代碼的遷移成本非常低。就算是占開發者群體9% 的，使用基于 Nvidia cuDNN 的性能級開發者，我們也會盡量提供和 cuDNN 類似的用戶體驗，這個工作量目前看來完全在接受的范圍。”

　　IPU 吞吐量最高比 GPU 提升 260 倍

　　解決了芯片到應用的軟件問題，那 IPU 更適合在哪些場景應用？“我們未來推進的策略還是訓練和推理兩個事情并行來做。有可能是一些單獨的訓練任務，也有可能是一些單獨的推理任務，但我們會更加聚焦在一些對精度要求更高、對時延要求更低、對吞吐量要求更高的一些場景。”盧濤進一步表示。

　　“當前廣泛應用、主流的 CV 類的模型是以 Int8 為主，但像現在的 NLP 模型，以及一些搜索引擎里用的模型或者廣告算法模型其實都是 FP16，甚至 FP32 為主流的數據格式，因為這樣一些模型對于精度的要求會更高。因此云端推理除了 Int8，FP16 和 FP32 的市場也很大。”

　　Graphcore 中國銷售總監朱江指出，除了稠密的數據之外，現在代表整個 AI 發展方向的大規模稀疏化的數據，在 IPU 上處理就會有非常明顯的優勢。與大規模的稀疏化數據對應的是分組卷積這樣一種新型的卷積算法，與 ResNet 這種目前比較傳統的方式相比，可以有更好的精度方表現和性能提升。

　　Graphcore 給出了一個分組卷積內核的 Micro-Benchmark，將組維度（Group Dimension）分成從 1 到 512 來比較。512 就是應用得較多的“Dense 卷積網絡”，典型的應用如 ResNet。在 212 的維度，IPU GC2 性能比 V100 要好近一倍。隨著稠密程度降低、稀疏化程度增加，在組維度為 1 或為 32 時，針對 EfficientNet 或 MobileNet，IPU 對比 GPU 展現出巨大的優勢，做到成倍的性能提升，同時延時大大降低。

　　之所以在低數組維度優勢明顯，是因為分組卷積數據不夠稠密，在 GPU 上可能效果并不好，而 IPU 的架構設計在分組卷積中能夠發揮優勢，并且可以提供 GPU 很難甚至無法提供的低延遲和高吞吐量。

　　整體而言，與英偉達 V100 相比，Graphcore 的 IPU 在自然語言處理方面的速度能夠提升 20%-50%，圖像分類能有 6 倍的吞吐量提升實現更低的時延。這些優勢在 IPU 的實際落地案例中也同明顯的性能優勢。

　　

　　在金融領域的風險管理、算法交易等應用中，會使用 Markov Chain 和 MCMC 等算法，借助 IPU，采樣速率能夠比 GPU 提高 26 倍。在金融領域應用廣泛的強化學習，IPU 也能把強化學習時間縮短到1/13。還有，采用 MLP（多層感知器）加上嵌入一些數據的方式來做銷售的預測，IPU 相比 GPU 能有 5.9 倍以上的吞吐量提升。

　　在醫療和生命科學領域，包括新藥發現、醫學圖像、醫學研究、精準醫療等，IPU 也已經體現出優勢。微軟使用 IPU 訓練 COVID-19 影像分析的算法模型 CXR，能夠在 30 分鐘之內完成在 NVIDIA GPU 上需要 5 個小時的訓練工作量。

　　另外，在電信領域，機器智能可以幫助分析無線數據的一些變化，比如采用 LSTM 模型預測未來性能促進網絡規劃。基于時間序列分析，采用 IPU 能夠比 GPU 有 260 倍的吞吐量提升。

　　在 5G 網絡切片和資源管理中需要用到的強化學習，用 IPU 訓練吞吐量也能夠提升最多 13 倍。

　　在創新的客戶體驗的自然語言處理（NLP）方面，代表性的模型就是 BERT。朱江介紹：“我們目前在 BERT 上訓練的時間能夠比 GPU 縮短 25% 以上。”

　　還有一個有意思的應用是 IPU 在機器人領域的應用，是 Graphcore 和倫敦帝國理工學院的合作，主要是用到一些空間的 AI 以及及時定位和地圖構建技術，幫助機器人做比較復雜的動作和更高級的功能。

　　對 Graphcore 更重要的是在 IPU 在云和數據中心中的應用，這是他們早期推廣以及現在主要推廣的領域，包括微軟在 Azure 公有云上開放 IPU 的服務，以及歐洲搜索引擎公司 Qwant 使用 IPU 做搜圖識別性能達到 3.5 倍以上的提升。

　　如何搶占中國 AI 市場先機？

　　“在 IPU 的落地上，目前我們整個策略上還是與云服務商和服務器提供商合作，所有地區基本上是一樣的做法。”盧濤坦言，IPU 在美國的落地速度比中國更快，包括 Azure 公有云上開放 IPU 的服務，以及與戴爾易安信合作推出了 IPU 服務器等。

　　

　　他解釋，“這是因為美國的用戶可能是較為活躍的研究者社區，而中國很注重產品化落地。我們中國本地的一些合作伙伴、開發者可能會更加務實。可能前期導入會慢一點，但是后面真正開始加速了， 整個開發過程速度是會非常快。”

　　盧濤也透露，Graphcore 在和金山云在合作，即將上線一個面向中國開發者和創新者的免費試用的開發者云。

　　在本地化產品服務方面，“長期來講，我們很開放地希望針對中國市場的需求做產品的定制化演進。從服務的角度，我們有兩支技術團隊，工程技術團隊承擔兩個方面的工作，一是根據中國本地的 AI 的應用的特點和應用的需求，把一些 AI 的算法模型用 IPU 去落地；二是根據中國本地用戶對于 AI 的穩定性學習框架平臺軟件方面的需求，做功能性的一些開發加強的工作。現場應用團隊則是幫助客戶做一些更現場的技術支持的工作。”

　　當然，Graphcore 支持阿里巴巴為底層的架構抽象出來的統一接口 API ODLA（Open Deep Learning API）硬件標準，以及支持國內重要的深度學習框架百度飛槳也都有助于 Graphcore 的 IPU 在國內的落地。

　　從 AI 發展的未來趨勢看，IPU 也能發揮優勢。盧濤說：“我們看到一個大的趨勢，就是訓練和推理有混步的需求。比如線上的推薦算法，以及預測汽車類應用。能夠同時滿足訓練和推理需求的 IPU 就能夠發揮優勢。”

　　另外，“分組卷積對算法設計者來說，最簡單的一個表現就是設計出參數規模更小、精度更高的一個算法模型。我們認為這是未來一個大的趨勢。”

　　雷鋒網小結

　　作為一個全新的架構，IPU 獲得了業界多位專家的高度評價。不過從創新的架構到芯片再到成為革命性的產品，Graphcore 從芯片到落地之間的距離，需要易用的軟件和豐富的工具來支持，特別是對軟件生態依賴程度比較到的云端芯片市場。從目前的情況看，Graphcore 在工具鏈、部署支持方面都已經有對應的產品，并且在金融、醫療、數據中心等領域都有落地案例。并且，Graphcore 下一代基于更先進 7nm 工藝的 IPU 也即將推出。

　　接下來的問題就是標桿客戶之后市場的接受度如何？以及 Graphcore 的市場策略是否和他們的產品一樣優勢明顯？

　　不可忽視的是，全球范圍內除了 Graphcore 還有其他公司也使用了 IPU 的理念設計出了 AI 芯片并且開始推廣。我們正在見證 IPU 時代的到來。

　　注，文中圖片均來自 Graphcore

總結

以上是生活随笔為你收集整理的直击CPU、GPU弱项！第三类AI处理器IPU正在崛起的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。