from:https://www.zhihu.com/question/39722446

兩方面回答：（1）合成，（2）跟蹤。

多圖，流量黨慎入。

• 合成

　　1.拼合全景視頻
　　當(dāng)今全景視頻的拍攝方案是采用多臺同型號、同鏡頭配置的攝像機(jī)（如若干臺GoPro Hero 4）安裝在全景視頻拍攝的支架上進(jìn)行拍攝的，最先面臨合成的問題是如何將多臺攝像機(jī)的拍攝素材拼合并投影在一個球面上。
Δ 由特定支架綁定若干GoPro攝影機(jī)，可拍攝全景視頻。（圖片來源于網(wǎng)絡(luò)，侵刪）

　　目前業(yè)內(nèi)有若干主流軟件可供拼合全景畫面使用：
　　（1）只能用于圖片：PTGui、APG。
　　（2）合成視頻文件：AfterEffects、Nuke、AVP。
推薦流程：
　　（1）簡單鏡頭使用Autopano處理。
　　（2）復(fù)雜的鏡頭用PTGui生成鏡頭配置，結(jié)合Autopano或Nuke拼合。
　　（3）Nuke或Ae結(jié)合插件Skybox處理。
　　（4）利用近期The Foundry公司在NAB發(fā)布的CARA VR for Nuke工具鏈作為解決方案，該方案在一定程度上超越了上述工具鏈，尤其是在處理立體（stereo）合成時具有一定優(yōu)勢。
拼合測試結(jié)果展示 （尺寸：4K LatLong） ：
Δ 由7臺GoPro拍攝的全景視頻展開圖。

Δ 由于鏡頭7缺少特征且天花板特征十分接近，Autopano等自動軟件無法完成，必須使用PTGui手動對齊。Δ 二號鏡頭拍攝的視頻的制式有問題，autopano無法使用，使用PTGui及Nuke拼合。
Δ 在Nuke中投影的攝像機(jī)組合結(jié)構(gòu)。

　　2.在全景視頻中的合成制作
　　在電影視覺特效（VFX）的工業(yè)流程中，數(shù)字繪景師（Digital Matte Painter）與合成師（Compositor）對于處理球面投影的虛擬環(huán)境的工作可謂是駕輕就熟，因?yàn)檫@實(shí)在是太尋常了，幾乎每個項(xiàng)目都會涉及。
　　美國硅谷虛擬現(xiàn)實(shí)初創(chuàng)公司 Jaunt（官網(wǎng)： https://www.jauntvr.com/）請的VFX Supervisor——Nathalie Mathe就是做DMP出身的（個人Demo Reel： https://vimeo.com/66620381， 懂得科學(xué)上網(wǎng)手段的知友可見），應(yīng)該算是最合適的人選了。
Δ Nathalie Mathe的個人CV截圖。

　　DMP處理全景視頻的手段無異于傳統(tǒng)VFX流程中利用球面投影繪制環(huán)境的方法，對此，答主不花過多時間討論。重點(diǎn)談?wù)労铣蓭熑绾翁幚砣耙曨l畫面的合成工作。
　　傳統(tǒng)VFX工作流程中，CMP的基本工作包括 合成2D/3D元素進(jìn)入畫面、調(diào)色與匹配、遮罩與摳像、畫面修補(bǔ)、跟蹤與穩(wěn)定、特殊效果等。
（未完待續(xù)）

合成測試結(jié)果展示 （尺寸：4K LatLong） ：
Δ 原圖。

Δ 進(jìn)行了天空替換和調(diào)色。

• 跟蹤

　　跟蹤的部分分為2D Track與3D Track，前文已提及，它們均屬于合成師的職能。
（未完待續(xù)）
答主需要先忙手頭上的工作，點(diǎn)贊解鎖更多回答內(nèi)容。:)

• 附錄

　　答主錄制的 免費(fèi)全景視頻合成教程，不斷更新中。希望能對相關(guān)從業(yè)者和業(yè)余愛好者有幫助，同時歡迎批評指正！待 The Foundry CARA VR工具鏈正式發(fā)布后，計劃推出基于此流程的教程。（新浪微博@羅謝海_Rochelle，需要微信請知乎私信）
vrl_class01_VR全景視頻合成教程01—在線播放—優(yōu)酷網(wǎng)，視頻高清在線觀看 http://v.youku.com/v_show/id_XMTUzODU3MjY4OA==.html?from=y1.7-1.2 vrl_class02_VR全景視頻合成教程02—在線播放—優(yōu)酷網(wǎng)，視頻高清在線觀看 http://v.youku.com/v_show/id_XMTU1MjUxNjEzMg==.html?from=y1.7-1.2 發(fā)布于 2016-05-0913 條評論感謝 收藏 ? 沒有幫助 ? 舉報 ? 禁止轉(zhuǎn)載 AMD程序媛農(nóng)企賽高 1?人贊同 關(guān)注AMD的小伙伴都知道Radeon Loom這個項(xiàng)目，這是AMD的開源360度實(shí)時視頻拼接方案，今天就請跟隨銳VR來了解一下關(guān)于Loom的更多細(xì)節(jié)。

首先，關(guān)于Radeon Loom的命名：從新石器時代的洞穴壁畫到當(dāng)代的IMAX及VR/AR體驗(yàn)，都可以看出來人們非常享受360度環(huán)境下的藝術(shù)體驗(yàn)，包括文藝復(fù)興時期的壁畫和內(nèi)部繪制畫作，19世紀(jì)的大風(fēng)景畫幕和環(huán)場影像以及最新興起的沉浸式視覺體驗(yàn)。Loom這個單詞的中文釋義為“織布機(jī)”，織布機(jī)已經(jīng)擁有數(shù)千年的歷史，并且對藝術(shù)和史詩講述類織錦畫的創(chuàng)作至關(guān)重要，如闡述了11世紀(jì)諾曼征服的長達(dá)70米的貝葉掛毯。Radeon Loom的命名保留了這一意象，希望能夠幫助數(shù)字時代的故事陳述者去編織和拼接下一部永恒的史詩。

關(guān)于Radeon Loom

正如現(xiàn)代機(jī)械織布機(jī)能夠在無數(shù)的線軸上制作出美麗的圖像一樣，AMD的Radeon GPU同樣可以處理成千上萬的多線程任務(wù)，渲染出令人驚嘆的數(shù)碼畫面。

1801年，法國人賈卡革新的提花織機(jī)引進(jìn)了自動穿孔裝置，使得現(xiàn)有的工廠織布機(jī)可生產(chǎn)更為復(fù)雜的圖案，極大地提高了生產(chǎn)力，這對今天的時尚行業(yè)都影響巨大。Radeon Loom的目標(biāo)本質(zhì)上是與之一致的：為影視級VR視頻體驗(yàn)提供創(chuàng)造性的動力，使高質(zhì)量360度視頻的創(chuàng)作過程更加簡化和現(xiàn)代化，使內(nèi)容創(chuàng)作者釋放更多的精力在獨(dú)特的內(nèi)容革新上面。

我們的第一個目標(biāo)，是使用戶在使用高質(zhì)量的360相機(jī)陣列拍攝影片的過程中，就能夠通過Oculus Rift或HTCVive預(yù)覽360度視頻。反復(fù)設(shè)計后，我們想出了一些解決方案，其中一個如下圖所示：

https://pic4.zhimg.com/v2-a81b746a0e2ab94354156e22de1879c7_b.png" data-rawwidth="1280" data-rawheight="720" class="origin_image zh-lightbox-thumb" width="1280" data-original="https://pic4.zhimg.com/v2-a81b746a0e2ab94354156e22de1879c7_r.png">

有些重要的細(xì)節(jié)不得不提。首先，我們使用了快速的工作站顯卡，AMD FirePro? W9100或Radeon?Pro WX系列，因?yàn)轱@卡速度越快，支持的鏡頭越多，分辨率也更高。其次，我們通過SDI影像擷取卡和DirectGMA軟件從鏡頭中獲取數(shù)據(jù)流，所以這些數(shù)據(jù)可以被直接傳遞到GPU存儲緩沖區(qū)。最后，我們使用BlackMagic相機(jī)，通過HDMI輸出同步鎖相，并通過變流器將每一個信號轉(zhuǎn)換成轉(zhuǎn)播級SDI（串行數(shù)字接口）。

一旦這些數(shù)據(jù)通過DirectGMA進(jìn)入GPU存儲器，一組復(fù)雜的算法會將所有的圖片縫合成為360度球形視頻。當(dāng)視頻被縫合完成，就會通過SDI被輸出到一臺或多臺PC，可通過頭顯直接觀看并/或上傳到互聯(lián)網(wǎng)。

在為一套實(shí)時360視頻裝備設(shè)定位置時會產(chǎn)生一些問題，這一定要引起重視。360度拍攝中不可能有一位攝影助理幫你手持并操控相機(jī)，否則他也會出現(xiàn)在視頻中。因此，你可能會想要定位拼接縫并/或在一定距離外通過PC查看拍攝的畫面，比如在一堵墻或一塊綠幕后。

為什么拼接很難

如果你看過一些高質(zhì)量的360度視頻，你可能會認(rèn)為360度拼接已經(jīng)是一個基本上被解決了的問題。然而，并不是的。但過去這幾十年的算法先驅(qū)們所做出的成績值得被肯定，因?yàn)樗麄兊呐σ呀?jīng)解決了很多關(guān)于全景和360度VR拼接的問題。

然而，諸如視差、相機(jī)和拼接縫的數(shù)量、傳感器之間的曝光差異等問題必須要被解決。先來解釋一下視差。簡單來說，就是兩個不同位置的鏡頭從不同角度拍攝同一個物體，就像你把一根指頭豎起靠近鼻梁中央，分別遮住一只眼睛，用另一只眼睛去觀看這根手指和其背景畫面，你會發(fā)現(xiàn)不同眼睛看到的畫面角度是不同的。

第二個問題是鏡頭數(shù)量越多越好，因?yàn)榉直媛屎凸鈱W(xué)性能會因此而提高（因?yàn)榛儠p少）。然而，這意味著需要更多的縫合處理。此外，當(dāng)人和物體多次在縫合處穿行，視差問題會因?yàn)槲⑿〉慕嵌炔疃磸?fù)出現(xiàn)。

第三個涉及的問題是每個鏡頭傳感器都有不同的照明條件。比如，拍日落的時候會有一個面向西邊落日的鏡頭，此時朝東的鏡頭拍攝區(qū)域的光線就相對比較暗。現(xiàn)有的成熟算法可以調(diào)節(jié)和協(xié)調(diào)圖像之間的曝光變化，但要以損失光照、顏色精準(zhǔn)度和整體的動態(tài)范圍為代價。這一問題在弱光條件和有限的藝術(shù)表現(xiàn)形式下會更加突出。

拼接優(yōu)化

我們在設(shè)計過程中遵循了一些簡單優(yōu)化指導(dǎo)，如“盡可能少的觸碰每個像素”。以及，一旦“觸碰”或讀一個像素，盡可能多的在其之上進(jìn)行操作。這說起來很容易，實(shí)際操作起來很難，因?yàn)閿?shù)據(jù)量之龐大。通過使用DirectGMA（只適用于AMD FirePro? and Radeon? Pro顯卡）我們不必在CPU和GPU存儲器中復(fù)制數(shù)據(jù)，再循環(huán)往復(fù)。

另一個重要的優(yōu)化是準(zhǔn)備工作負(fù)載使GPU保持繁忙狀態(tài)。我們能做到的是在像素組被處理時提前準(zhǔn)備好流水線。

為了達(dá)到多鏡頭實(shí)時拼接的目標(biāo)，我們嘗試了多種實(shí)驗(yàn)。最終，我們選擇并開發(fā)計算周期最少，品質(zhì)最高的算法，然后優(yōu)化算法的執(zhí)行。當(dāng)然，我們還選擇了最有效的算法去優(yōu)化了我們的大規(guī)模并行處理器和可擴(kuò)展的FirePro?and Radeon? GPU。

Radeon Loom Beta版本現(xiàn)已可獲取

360度視頻創(chuàng)作已經(jīng)爆發(fā)，僅僅在2016年就有近百萬的360度視頻被上傳至Facebook，YouTube等社交媒體網(wǎng)站上，并且有望在2025年形成115億美金規(guī)模的產(chǎn)業(yè)。如上所述，鏡頭越多，最終的360度體驗(yàn)分辨率和品質(zhì)越高。然而，拼接工作著實(shí)是一個巨大的挑戰(zhàn)。

Radeon Loom通過GPU大量的并行處理革新了實(shí)時及線下360度視頻拼接的過程。Radeon Loom使用AMDKhronos? OpenVX? 開源計算視覺架構(gòu)，可實(shí)時拼接多至24個4k x2k鏡頭、離線拼接多至31個8K x4K鏡頭拍攝到的畫面。如果你恰巧已經(jīng)是一位360視頻開發(fā)者，可點(diǎn)擊Radeon Loom StitchingLibrary onhttp://GPUOpen.com 下載Radeon Loom的beta版本。

目前AMD中國團(tuán)隊(duì)正在和本地攝像機(jī)開發(fā)商合作，提供端到端的解決方案，屆時會面向VR全景用戶發(fā)布！

發(fā)布于 2017-01-10添加評論感謝 收藏 ? 沒有幫助 ? 舉報 ? 作者保留權(quán)利 匿名用戶 1?人贊同 嗯 我就看看誰回答 這東西做起來坑這么多屬于重大商業(yè)機(jī)密 哪個創(chuàng)業(yè)者敢說投資人也是要瘋 發(fā)布于 2016-02-26添加評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 匿名用戶 1?人贊同 這個東西我會做，而且做了好多年了，AE后期就可以合成，但是技巧屬于商業(yè)機(jī)密，二屬于個人核心競爭力，任何人都不會透露給你的 發(fā)布于 2016-02-263 條評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 藝芊藝全景攝影師 全景視頻的合成與全景圖片的合成在方法上并無大的差別，只是在合成前多了一個視頻幀同步的步驟而已。在難度上，因?yàn)榕臄z方法的不同，全景視頻合成要比全景圖片合成難度要大些。

1. 方法： 不同于全景圖片使用同一個相機(jī)拍攝，全景視頻一般是采用多個相機(jī)拍攝的，比如GOPRO的推出的OMNI方案采用的是6個相機(jī)同時拍攝。由于6個相機(jī)的時鐘都有微小的差別，即便同時開始錄制，幾分鐘后各個視頻幀就失去同步了。所有要在后期制作全景時，首先做一個視頻幀同步的步驟，保證合成全景的視頻幀是在同一時間拍攝的。
2. 難度： 全景視頻（或圖片）的合成其實(shí)是個數(shù)學(xué)問題：已知幾張拍攝好的照片，推算出相機(jī)的內(nèi)部參數(shù)（如焦距，光圈大小與感光芯片大小關(guān)系等）和拍攝位置。如果是同一臺相機(jī)在同一位置拍攝，只是拍攝角度不同而已，那么這是最簡單的情況，算出來的結(jié)果也是最精確的，所有一般全景攝影師，包括我自己都在采用這種方法。而全景視頻采用了多臺相機(jī)，就有多個未知的相機(jī)內(nèi)部參數(shù)和拍攝位置，這個數(shù)學(xué)問題也更復(fù)雜，得到的結(jié)果誤差也會更大。 發(fā)布于 2017-01-30添加評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 匿名用戶 全景視頻+跟蹤：坑比較多，要做好的話，大概需要4個方面專業(yè)，此外還需要天時地利，要做好確實(shí)不易 發(fā)布于 2016-03-231 條評論感謝 收藏?沒有幫助?舉報?作者保留權(quán)利 王XXkrpano krpano可以制作全景交互及全景視頻

總結(jié)

以上是生活随笔為你收集整理的全景视频的跟踪与合成方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。