作者：Chia-Kai Liang， Fuhao Shi

翻譯：楊潔

審校：包研

Pixel和Pixel XL的高質(zhì)量錄像背后，是Google相機(jī)算法團(tuán)隊(duì)和傳感器算法團(tuán)隊(duì)及相關(guān)硬件團(tuán)隊(duì)的功能努力下完成的。Google工程師在撰文對(duì)此進(jìn)行了解析，LiveVideoStack對(duì)本文進(jìn)行了摘譯。點(diǎn)擊“閱讀原文”訪問英文原文鏈接。

目前智能手機(jī)最重要的一個(gè)方面就是輕松捕捉和分享視頻。基于光學(xué)圖像穩(wěn)定（OIS）和電子圖像穩(wěn)定（EIS））的融合穩(wěn)定視頻技術(shù)，使用Pixel 2 和Pixel 2 XL智能手機(jī)，拍攝的視頻比以往更流暢，更清晰。視頻融合穩(wěn)定技術(shù)用最少的偽影提供高度穩(wěn)定的畫面，目前Pixel 2在DxO的視頻排名中領(lǐng)先（同時(shí)也獲得了智能手機(jī)相機(jī)的最高綜合評(píng)分）。

錄像的一個(gè)關(guān)鍵原則是保持?jǐn)z像機(jī)的運(yùn)動(dòng)平穩(wěn)。一個(gè)穩(wěn)定的視頻是不受干擾，所以，觀眾可以關(guān)注感興趣的主體。但是，使用智能手機(jī)拍攝視頻受許多條件的限制，使得拍攝高質(zhì)量視頻成為一個(gè)重大挑戰(zhàn)：

相機(jī)抖動(dòng)

大多數(shù)人手持手機(jī)來錄制視頻-從口袋里拿出手機(jī)，錄制視頻，視頻錄制后可立即分享。

然而，這意味著你的視頻和你的手一樣抖動(dòng)，而且震動(dòng)很大！此外，如果你是走路或跑步錄制時(shí)，攝像機(jī)的動(dòng)作可能使視頻幾乎不能看了。

?

運(yùn)動(dòng)模糊

如果相機(jī)或拍攝對(duì)象在曝光過程中移動(dòng)，所拍攝的照片或視頻就會(huì)顯得模糊。特別是在移動(dòng)設(shè)備上，即使我們?cè)谶B續(xù)幀之間穩(wěn)定運(yùn)動(dòng)，實(shí)際上每個(gè)單獨(dú)幀中的運(yùn)動(dòng)模糊也不容易恢復(fù)。由運(yùn)動(dòng)模糊引起的一個(gè)典型的視頻偽影是清晰度不一致性：視頻可能在模糊和清晰之間快速交替，即使視頻穩(wěn)定之后，也是非常分散注意力的。

卷簾快門（或果凍效應(yīng)）

CMOS圖像傳感器一次收集一行像素或“掃描線（逐行掃描）”，從頂部到底部掃描需要幾十毫秒的時(shí)間。因此，這段時(shí)間內(nèi)任何運(yùn)動(dòng)都可能出現(xiàn)失真。這被稱為卷簾快門失真。即使你的手穩(wěn)定，快速移動(dòng)時(shí)也會(huì)出現(xiàn)卷簾快門失真。

聚焦呼吸（呼吸效應(yīng)）

當(dāng)視頻中有不同距離的物體時(shí)，由于物體在前景中“跳躍”，視角可能會(huì)發(fā)生顯著變化。結(jié)果，會(huì)像下面的視頻一樣縮小或擴(kuò)大，專業(yè)人士稱之為“呼吸”。

一個(gè)好的穩(wěn)定系統(tǒng)應(yīng)該解決這些所有問題：應(yīng)該視頻看起來清晰，運(yùn)動(dòng)平滑，并且校正卷簾快門和聚焦呼吸。

許多專業(yè)人員將相機(jī)安裝在機(jī)械穩(wěn)定器上以完全隔離手部運(yùn)動(dòng)。這些設(shè)備主動(dòng)感應(yīng)并補(bǔ)償相機(jī)的移動(dòng)，以消除所有不必要的動(dòng)作。然而，它們通常是昂貴及繁瑣的；你不會(huì)想每天都帶著一個(gè)。手機(jī)上也有手持萬(wàn)向支架。然而，它們通常比手機(jī)本身大，并且需要在開始錄制之前，必須把手機(jī)放在支架上。你需要做的很迅速，以免有趣的瞬間消失。

光學(xué)圖像穩(wěn)定（OIS）是抑制抖動(dòng)偽影的最知名的方法。通常，在具有OIS的移動(dòng)照相機(jī)模塊中，鏡頭通過多個(gè)彈簧懸掛在模塊中間，并使用電磁體在其外殼內(nèi)移動(dòng)鏡頭。

鏡頭模塊主動(dòng)感應(yīng)并以非常高的速度補(bǔ)償抖動(dòng)運(yùn)動(dòng)。由于OIS快速響應(yīng)運(yùn)動(dòng)，可以大大抑制抖動(dòng)模糊。然而，對(duì)糾正運(yùn)動(dòng)的范圍是相當(dāng)有限的（通常大約為1-2度），這是不夠正確的連續(xù)視頻幀之間的不必要的動(dòng)作，或者正確的行走過程中過多的運(yùn)動(dòng)模糊。

然而，可校正運(yùn)動(dòng)的范圍相當(dāng)有限（通常在1-2度左右），這不足以糾正連續(xù)視頻幀之間的不必要的運(yùn)動(dòng)，或者糾正行走過程中過度運(yùn)動(dòng)模糊。另外，OIS不能糾正某些類型的運(yùn)動(dòng)，如平面旋轉(zhuǎn)。有時(shí)它甚至可以引入“果凍”偽影。

電子穩(wěn)像（EIS）分析像機(jī)運(yùn)動(dòng)，濾除不需要的部分，并通過變換每幀合成一個(gè)新的視頻。最終的穩(wěn)定質(zhì)量取決于這些階段的算法設(shè)計(jì)和實(shí)現(xiàn)優(yōu)化。

一般來說，基于軟件的EIS比OIS更靈活，所以它可以糾正更大更多類型的運(yùn)動(dòng)。但是，EIS有一些常見的局限性。首先，為了防止合成幀中的未定義區(qū)域，它需要減小視場(chǎng)或分辨率。 其次，EIS與OIS或外部穩(wěn)定器相比，EIS需要計(jì)算更多，在手機(jī)上資源有限。

制作更好的視頻：融合視頻穩(wěn)定性

在視頻錄制過程中，OIS和EIS同時(shí)啟用，通過融合視頻穩(wěn)定技術(shù)，可解決上面提到的所有問題。我們的解決方案有三個(gè)處理階段，如下面的系統(tǒng)圖所示。

?

第一個(gè)處理階段，運(yùn)動(dòng)分析，提取陀螺儀信號(hào)，OIS運(yùn)動(dòng)及其他屬性來精確估計(jì)像機(jī)運(yùn)動(dòng)。 然后，運(yùn)動(dòng)濾波階段，結(jié)合機(jī)器學(xué)習(xí)和信號(hào)處理來預(yù)測(cè)人們移動(dòng)相機(jī)的意圖。最后，在幀合成階段，建模并移除卷簾快門和聚焦呼吸失真。

借助視頻融合穩(wěn)定技術(shù)，來自Pixel 2的視頻具有較少的運(yùn)動(dòng)模糊，看起來更自然。該解決方案足以在所有視頻模式下運(yùn)行，例如60fps 或 4K錄制。

運(yùn)動(dòng)分析

在運(yùn)動(dòng)分析階段，我們使用手機(jī)的高速陀螺儀來估計(jì)手部運(yùn)動(dòng)的旋轉(zhuǎn)分量（滾動(dòng)，俯仰和偏航）。通過感知200 Hz的運(yùn)動(dòng)，每條掃描線都有密集的運(yùn)動(dòng)矢量，足以模擬卷簾快門失真。

我們還測(cè)量陀螺儀未檢測(cè)到的鏡頭運(yùn)動(dòng)，包括聚焦調(diào)整（z）和OIS高速運(yùn)動(dòng)（x和y）。

由于需要很高的時(shí)間精度來模擬卷簾快門效應(yīng)，所以我們仔細(xì)優(yōu)化了系統(tǒng)，以確保CMOS圖像傳感器，陀螺儀和鏡頭運(yùn)動(dòng)讀數(shù)之間的時(shí)間完美對(duì)齊。僅僅幾毫秒的錯(cuò)位就會(huì)引起明顯的抖動(dòng)效應(yīng)。

運(yùn)動(dòng)濾波

運(yùn)動(dòng)濾波階段從運(yùn)動(dòng)分析中獲取真實(shí)的像機(jī)運(yùn)動(dòng)，并創(chuàng)建穩(wěn)定的虛擬攝像機(jī)運(yùn)動(dòng)。請(qǐng)注意，我們將輸入幀推進(jìn)隊(duì)列以延緩處理。這使我們能夠預(yù)測(cè)未來的相機(jī)運(yùn)動(dòng)，利用機(jī)器學(xué)習(xí)來準(zhǔn)確地預(yù)測(cè)用戶的意圖。前向?yàn)V波對(duì)于OIS或任何機(jī)械穩(wěn)定器來說是不可行的，這些穩(wěn)定器只能對(duì)之前或現(xiàn)在的運(yùn)動(dòng)作出反應(yīng)。我們將在下面討論更多。

幀合成

在最后階段，我們根據(jù)真實(shí)的和虛擬的相機(jī)運(yùn)動(dòng)推導(dǎo)出幀變換方法。為了處理卷簾快門失真，我們對(duì)每幀多次變換。將輸入的幀分成一個(gè)網(wǎng)格，分別對(duì)每部分進(jìn)行變換。

前向運(yùn)動(dòng)濾波

融合視頻穩(wěn)定的一個(gè)關(guān)鍵特征是新的預(yù)測(cè)濾波算法。它分析未來的運(yùn)動(dòng)，以識(shí)別用戶預(yù)期的運(yùn)動(dòng)模式，并創(chuàng)建一個(gè)平滑的虛擬像機(jī)運(yùn)動(dòng)。向前濾波有多個(gè)階段，逐步改進(jìn)每幀的虛擬相機(jī)運(yùn)動(dòng)。在第一步中，將高斯濾波應(yīng)用到過去和未來的真實(shí)像機(jī)運(yùn)動(dòng)中，以獲得平滑的像機(jī)運(yùn)動(dòng)。

為了進(jìn)一步提高質(zhì)量，我們訓(xùn)練了一個(gè)模型，從嘈雜的真實(shí)像機(jī)運(yùn)動(dòng)中提取目標(biāo)運(yùn)動(dòng)。然后，我們根據(jù)預(yù)測(cè)的運(yùn)動(dòng)應(yīng)用附加的過濾器。例如，如果我們預(yù)測(cè)相機(jī)是水平平移的，就會(huì)拒絕更多的垂直運(yùn)動(dòng)。

實(shí)際上，上述過程并不能保證沒有未定義的“壞”區(qū)域，當(dāng)虛擬像機(jī)過于穩(wěn)定及變形幀落在原始視場(chǎng)之外時(shí)，就會(huì)出現(xiàn)這種情況。我們?cè)诮酉聛淼膸讕蓄A(yù)測(cè)這個(gè)問題的可能性，并調(diào)整虛擬像機(jī)的運(yùn)動(dòng)得到最終結(jié)果。

正如我們前面提到的那樣，即使啟用了OIS，有時(shí)運(yùn)動(dòng)也會(huì)過大，導(dǎo)致幀內(nèi)運(yùn)動(dòng)模糊，當(dāng)EIS進(jìn)一步應(yīng)用于相機(jī)平滑運(yùn)動(dòng)時(shí)，運(yùn)動(dòng)模糊會(huì)導(dǎo)致分散清晰度。

這是EIS解決方案中非常普遍的問題。為了解決這個(gè)問題，我們利用人類視覺系統(tǒng)中的“掩蔽”特性。運(yùn)動(dòng)模糊通常會(huì)使幀沿特定方向模糊，如果所有幀沿著這個(gè)方向運(yùn)動(dòng)，人眼就不會(huì)注意到它。相反，我們的大腦自然的將模糊視為運(yùn)動(dòng)的一部分，并將其從我們的感知中屏蔽掉。

有了高頻陀螺儀和OIS信號(hào)，我們可以準(zhǔn)確的估計(jì)出每一幀的運(yùn)動(dòng)模糊。我們可以計(jì)算出相機(jī)在曝光初始及終止時(shí)所指的位置，兩者之間的移動(dòng)就是運(yùn)動(dòng)模糊。之后，我們應(yīng)用機(jī)器學(xué)習(xí)算法（訓(xùn)練一組有運(yùn)動(dòng)模糊和沒有運(yùn)動(dòng)模糊的圖像）將過去和未來幀中的運(yùn)動(dòng)模糊映射到我們想要保留的真實(shí)像機(jī)運(yùn)動(dòng)的量，同時(shí)使用虛擬的相機(jī)移動(dòng)與真實(shí)相機(jī)移動(dòng)進(jìn)行混合加權(quán)。隨著模糊運(yùn)動(dòng)的掩蓋，分散清晰度變化大幅下降且相機(jī)運(yùn)動(dòng)始終保持穩(wěn)定。

結(jié)果

我們已經(jīng)看到許多很棒的Pixel 2融合視頻穩(wěn)定的視頻。 融合視頻穩(wěn)定結(jié)合了OIS和EIS的優(yōu)點(diǎn)，在像機(jī)運(yùn)動(dòng)平滑和減少運(yùn)動(dòng)模糊方面取得了很好的效果，并校正了卷簾快門和聚焦呼吸。借助Pixel 2和Pixel 2 XL上的融合視頻穩(wěn)定功能，您不再需要在錄制之前仔細(xì)放置手機(jī)，在整個(gè)錄制過程中牢牢抓住手機(jī)，或者隨身攜帶萬(wàn)向架。 錄制的視頻將始終保持穩(wěn)定，清晰，并可隨時(shí)分享。

手機(jī)錄像畫質(zhì)的提升，滿足了大眾隨拍隨分享的需求，也促進(jìn)了短視頻的興起。其實(shí)早在四五年前，短視頻就已經(jīng)火起來，為何在歷經(jīng)直播元年后又再度火爆？此前制作短視頻的企業(yè)又在做什么內(nèi)容？伴隨大逃殺類型游戲的火熱，短視頻如何與游戲行業(yè)相結(jié)合？

LiveVideoStack特邀又拍云高級(jí)產(chǎn)品經(jīng)理曾令森走進(jìn)成都，12月2日與您一同分享《短視頻為什么又火起來了》，此外我們還邀請(qǐng)了騰訊、阿里云、聲網(wǎng)、即構(gòu)科技4位大咖講師一同分享游戲行業(yè)音視頻技術(shù)的玩法，社交游戲、手游、O2O、云導(dǎo)播……更多精彩等你來發(fā)現(xiàn)。

現(xiàn)在報(bào)名即享5折優(yōu)惠，VIP還將獲得技能圖譜以及參與講師晚宴的機(jī)會(huì)。

總結(jié)

以上是生活随笔為你收集整理的Google Pixel 2(XL)录像画质提升背后的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。