Imagination 的神經網絡加速器和 Visidon 的去噪算法被證明是完美的搭檔
本文是總部位于芬蘭的Visidon和總部位于英國的 Imagination合作的結果。Visidon 是公認的相機圖像增強和分析算法專家，Imagination 擁有一系列世界一流的神經網絡加速器(NNA)，每個內核的性能高達每秒 100 TOPS。
本文解決的問題是對來自傳統彩色相機的圖像進行去噪。解決方案分為兩部分：
? 在不破壞圖像細節的情況下去除噪聲的算法。
? 一種高性能卷積引擎，能夠運行經過訓練的神經網絡，該網絡將彩色圖像作為輸入并輸出去噪后的彩色圖像。
Visidon 深度神經網絡示例
圖像去噪的過程有著悠久的歷史。現代 CMOS 成像器的工作方式，可以被認為是一組光子計數器。光子以平均速率到達傳感器：在波動相對較高的暗區較少，但在波動相對較低的較亮區域（即更好的信噪比）中更多。波動是由于光的物理學而產生的噪聲（使用泊松統計），通常無法避免。但是，可以通過進一步處理去除噪聲。關鍵是在不破壞圖片內容的情況下做到這一點。
多年來，已經提出了許多解決方案。這些包括簡單地稍微模糊圖片、使用雙邊濾波器的復雜方法、基于流形理論的貝爾特拉米濾波器、尺度空間卡爾曼濾波器等。
關于去噪的有趣點首先是噪聲在圖像的平坦區域中最明顯（對而言），而噪聲在邊緣附近不太明顯（對而言）。然而，邊緣最有可能被許多去噪算法以其他方式模糊或損壞。損壞的邊緣在感知上與噪音一樣糟糕！
Visidon 已經創建了一個卷積神經網絡模型（相鄰），完全實現了所需的目標——去除噪聲并同時保留彩色圖像中的邊緣。
Imagination 的 Series4 多核 NNA 在執行 Visidon 的去噪網絡時，提供高性能計算解決方案，同時在低功耗和小面積方面是同類產品中的佼佼者。
圖 1 顯示了一組示例結果。這項工作中使用的所有圖像均為 4,096 x 3,072。這張圖片在黑暗的夜間背景上有明亮的白色和藍色燈光；原始圖如圖 1a 所示，每個像素 x100 的 RMS 誤差如圖 1b 所示。誤差是在來自網絡的浮點結果和通過將網絡量化為 16 位，在 Imagination 的 NNA 上運行網絡生成的結果之間得出的。
圖 1（下圖）顯示了一個特別困難的圖像——然而，任何 8 位顏色通道的最大差異是 +/-1。還展示了（圖 1c）原始噪聲圖像的裁剪，d）來自浮點網絡的輸出，e）量化網絡和 f）由 Visidon 的網絡浮點實現提供的結果。無色彩失真，有效消除噪點，邊緣完好無損。

圖 1.“困難”圖像示例。在查看的十張示例圖像中，所有結果都遵循相似的模式。在圖 2 所示的日光場景中，每個顏色通道的每個像素沒有超過 +/- 1 的錯誤發生。此圖像中的噪點不太明顯，但選擇了裁剪圖來證明降噪不會在任何顏色的邊緣產生偽影。

圖 2. 沒有邊緣或顏色失真的日光場景
在下一張圖片（圖 3）中，展示了一張明亮的測試圖表。同樣，沒有大于 +/- 1 的錯誤，并且詳細的裁剪顯示缺少邊緣偽影，這是 Visidon 算法的一個特征。

圖 3. Visidon 結果：明亮的測試圖表。
最終的圖像結果（圖 4）顯示了在低光下拍攝的測試圖 - 另一個非常困難的圖像。在這里，清楚地看到了噪聲（泊松統計數據的信噪比隨著平均水平的降低而變差）。在原始圖像的細節中（圖 6c），在較亮和較暗的區域，嚴重的顏色噪聲都很明顯。這是單獨的紅色、綠色和藍色通道中不相關的波動產生隨機顏色變化的結果（近似于三個維度的 Rician 統計）。
Visidon 的去噪算法消除了亮度（亮度）和色度（顏色）中的噪聲，同時保留了邊緣。值得注意的是，來自網絡的浮點結果與來自網絡的 16 位量化結果之間沒有明顯差異，而且這兩個結果之間的最大差異在任何像素和任何顏色通道上都是 +/-1。

圖 4. Visidon 結果：低光測試圖表。

IMG Series4 多核
圖 5. IMG 4NX-MC8 示意圖
圖 5 中的 IMG 4NX-MC8 具有先進的架構特性，并提供一系列多核版本。4NX-MC1 有一個單核，最高可達 12.5 TOPS（1 TOPS = 1 Tera 操作每秒）。
Imagination 的 4NX-MC1、4NX-MC4 和 4NX-MC6 內核的性能如下表 1 所示。

表 1. Imagination NNA 內核在使用 Imagination 標準工具鏈生成的 Visidon 降噪網絡上的性能和配置
結論
總而言之，這是一個深度卷積神經網絡的一個非常有趣的例子，從作為輸入的圖像中產生作為輸出的圖像。
在圖像質量方面的表現非常出色，因為在處理高質量圖像時去噪是一個難題。結果的保真度反映了 Visidon 算法的質量，特別是選擇的網絡架構和訓練方式。還非常清楚地表明，量化網絡（在這種情況下為 16 位）可以提供與浮點網絡幾乎相同的結果。
值得一提的是，確實研究了較低的位深度。大多數神經網絡中的錯誤在 8 位執行時會增加一點。根據應用程序，錯誤的小幅增加可能是可以接受的。在高質量圖像增強的背景下，人類觀察者可以看到非常小的錯誤。8 位數據（激活）時平坦區域的條帶很明顯，8 位權重時顏色失真很明顯。
使用 16 位數據和 16 位權重運行網絡根本不會留下任何可見的偽影，并且輸出圖像中任何像素和顏色的差異都是 +/- 1。
通過運行 Visidon 的去噪網絡，Imagination 的 NNA 的性能展示了其超越傳統 AI 應用程序的能力及其在圖像增強方面的適用性。

參考鏈接：
https://www.imaginationtech.com/blog/imaginations-neural-network-accelerator-and-visidons-denoising-algorithm-prove-to-be-perfect-partners/
刪除線格式

總結

以上是生活随笔為你收集整理的Imagination 的神经网络加速器和 Visidon 的去噪算法被证明是完美的搭档的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。