Google Pixel 超分辨率–Super Resolution Zoom

Google 的Super Res Zoom技術(shù)，主要用于在zoom時(shí)增強(qiáng)畫(huà)面細(xì)節(jié)以及提升在夜景下的效果。

文章的主要貢獻(xiàn)有：

· 使用多幀圖像超分辨算法代替去馬賽克算法

· 引入自適應(yīng)核插值和融合算法。其自適應(yīng)于圖像的局部結(jié)構(gòu)，對(duì)稀疏采樣的數(shù)據(jù)進(jìn)行擬合。

· 提出了運(yùn)動(dòng)魯棒模型，對(duì)局部運(yùn)動(dòng)、遮擋、配準(zhǔn)失敗區(qū)域有較好的的魯棒性

· 分析了手部震顫規(guī)律，并說(shuō)明了其做為亞像素偏移獲取來(lái)源的有效性

整個(gè)算法流程如圖1所示，其主要包括：多幀RAW圖像的獲取、圖像配準(zhǔn)、圖像融合三個(gè)步驟。首先，獲取多幀RAW圖像（CFA Bayer），然后選擇其中一陣作為基幀（base frame），剩下的圖像都對(duì)該幀進(jìn)行局部對(duì)齊。通過(guò)核回歸估計(jì)每一幀對(duì)結(jié)果的局部貢獻(xiàn)（contribution），然后分顏色通道將這些貢獻(xiàn)疊加起來(lái)。為了是算法更有魯棒性，借助于圖像局部特征對(duì)核形狀進(jìn)行調(diào)整，并利用魯棒性模型對(duì)采樣的貢獻(xiàn)值進(jìn)行加權(quán)。最后，對(duì)每個(gè)顏色通道進(jìn)行歸一化得到最后的RGB圖像。

圖1: 算法流程

本文對(duì)demosaic 進(jìn)行了增強(qiáng)，相對(duì)以前的效果提升如下圖，可以看出在高頻區(qū)域尤其是摩爾紋處得到了很好的改善：

圖2: 效果對(duì)比

首先說(shuō)明Google 在文中介紹的超分并沒(méi)有采用深度學(xué)習(xí)的方法，而是采用了傳統(tǒng)做法。其原理也很簡(jiǎn)單，一句話概括為：通過(guò)多幀來(lái)填補(bǔ)Bayer中缺少的圖像分量。sensor都是Bayer 格式，每個(gè)像素處只有一個(gè)色彩通道，其余的色彩是通過(guò)插值得來(lái)，而插值的過(guò)程中就會(huì)產(chǎn)生摩爾紋等問(wèn)題。

圖3: bayer 與插值

假設(shè)物體是不動(dòng)的，我們每次分別每次移動(dòng)1個(gè)像素，拍攝4次，豈不是就可以在每個(gè)像素位置處湊夠RGGB 像素值了呢，這樣我們無(wú)須插值就可以獲得一張從Bayer到RGB的圖像。

圖4：多幀方法獲得RGB采樣值

這種設(shè)計(jì)思想在Sony、賓得等單反相機(jī)上從2017 年就已經(jīng)開(kāi)始應(yīng)用，技術(shù)名為：像素偏移多重拍攝（圖5）。

圖5

因?yàn)閱畏吹葥碛泻軓?qiáng)的硬件基礎(chǔ)可以精準(zhǔn)控制位置的移動(dòng)，手機(jī)上沒(méi)有這么多硬件設(shè)備了，那手機(jī)怎么來(lái)創(chuàng)造位移呢？Google假設(shè)并調(diào)研了人拍照時(shí)手抖的特點(diǎn)，發(fā)現(xiàn)了拍照時(shí)手抖就可以創(chuàng)造出足夠的亞像素位移來(lái)保證多幀圖像基本可以使每個(gè)像素位置都能拍攝到三個(gè)通道（圖6）。

圖6

運(yùn)動(dòng)估計(jì)在之前的計(jì)算中已經(jīng)得到了解決（HDR+ 和夜景中都有講解），剩下的難點(diǎn)就變成了如何來(lái)融合多幀每個(gè)通道的像素了，其流程如下圖，無(wú)非就是參考噪聲模型、局部細(xì)節(jié)、運(yùn)動(dòng)向量等老生常談的特征，剩余內(nèi)容就是對(duì)圖7公式的補(bǔ)充和解釋，建議感興趣的直接去看論文即可。

圖7

因?yàn)橛?jì)算量和圖像尺寸以及幀數(shù)成線性，文中給出的計(jì)算速度是在高通Adreno 630 GPU平臺(tái)上的數(shù)據(jù)，15.4ms+7.8ms/MPixel，并不算特別快，這也是為什么在GoogleBlog 里面說(shuō)“SuperRes Zoom可以在所有縮放系數(shù)下工作，不過(guò)由于性能原因，只在1.2倍以上激活”吧。

總結(jié)

以上是生活随笔為你收集整理的Google Pixel 超分辨率--Super Resolution Zoom的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。