2D圖片3秒變立體，變換視角流暢自然

ACM主辦的計算機圖形學頂級期刊TOG

Ken Burns effect
視界燃燒效果

這種特效處理，常常用于紀錄片等視頻的后期制作，名為Ken Burns Effect。

用單個圖像合成逼真的相機移動的效果要解決兩個基本問題。

首先，要設置一個新的相機位置，合成新視圖，并且需要準確地恢復原始視圖的場景幾何結(jié)構(gòu)。

其次，根據(jù)預測的場景幾何結(jié)構(gòu)，要將新視圖在連續(xù)的時間線上合成，這就涉及到去遮擋這樣的圖像修復手段。

用以訓練的數(shù)據(jù)集是用計算機生成的。研究人員從UE4 Marketplace2收集了32種虛擬環(huán)境，用虛擬攝像機在32個環(huán)境中捕獲了134041個場景（約13萬），包括室內(nèi)場景，城市場景，鄉(xiāng)村場景和自然場景。

指定一張高分辨率圖像，首先根據(jù)其低分辨率版本估計粗糙深度。這一步由VGG-19來實現(xiàn)，根據(jù)VGG-19提取的語義信息指導深度估計網(wǎng)絡的訓練，并用具有g(shù)round truth的計算機合成數(shù)據(jù)集進行監(jiān)督。

第二個網(wǎng)絡，是Mask R-CNN。
用Mask R-CNN對輸入的高分辨率圖像進行分割，而后用分割的結(jié)果來對深度圖進行調(diào)整，以確保圖中的每個對象都映射到一個相干平面上。

最后，利用深度細化網(wǎng)絡，參考輸入的高分辨率圖像，對提取出的粗糙深度進行上采樣，確保深度邊界更加精確。
?

有了從輸入圖像獲得的點云和深度圖（注：點云指通過3D掃描得到的物品外觀表面的點數(shù)據(jù)集合），就可以渲染連續(xù)的新視圖了。

結(jié)合上下文感知修復的方法。

結(jié)合上下文信息能夠產(chǎn)生更高質(zhì)量的合成視圖。上下文信息劃定了相應像素在輸入圖像中位置的鄰域，因此點云中的每個點都可以利用上下文信息來進行擴展。

具體而言，第一步，是進行顏色和深度圖像修復，以從不完整的渲染中恢復出完整的新視圖，其中每個像素都包含顏色，深度和上下文信息。

而后，利用圖像修復深度，將圖像修復顏色映射到點云中新的色調(diào)點。

重復這一過程，直到點云充分擴展，填補空隙，可以實時地呈現(xiàn)完整且連續(xù)的畫面。
https://www.qbitai.com/2019/09/7264.html

代碼
https://github.com/sniklaus/3d-ken-burns
Please note that this script does not perform the depth adjustment, see #22 for information on how to add it.
https://github.com/sniklaus/3d-ken-burns/issues/22

UE4 Marketplace
https://www.unrealengine.com/marketplace/zh-CN/store

3D Kenburns的偽影和模糊的原因: 一是 它采用的深度估計的效果不是很好。二是 由于它是將原圖與深度圖結(jié)合，然后置于三維空間中，執(zhí)行RGB值和深度值的填充。理論上這樣的做法是更加精細的(更接近于三維重建的思路)，但是由于實際上僅靠單張圖片和深度圖，因此這樣在三維空間中的處理往往并不能取得比較好的效果。

還有一個原因就是，3D Kenburns和3D photo是以動態(tài)圖片的3D特效為目標，因此對于一張圖片，它們要進行許多個視點的合成，只能謀求整個動態(tài)過程中多視點的圖像質(zhì)量，而難以對過程中每個視點的質(zhì)量都進行兼顧。

總結(jié)

以上是生活随笔為你收集整理的2019-TOG-Adobe-(3D Ken Burns)3D ken burns effect from a single image的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。