為視頻短片增加有趣的3D對象，通過Android Motion Stills就可以實現。近日，Google宣布對Motion Stills增加了AR功能。本文由LiveVideoStack摘譯，點擊『閱讀原文』訪問原文鏈接。

文 / ?Jianing Wei和Tyler Mullen

譯 / 鴻蒙

審校 / Ant

去年夏天，我們在Android平臺上推出了Motion Stills，它可以在各種Android手機上提供出色的視頻捕捉和觀看體驗。然后，我們進一步改進了Motion Stills技術，為Pixel 2增加了新的動態照片功能。

今天，我們很高興地發布Android Motion Stills中的增強現實（AR）模式。在新推出的AR模式下，用戶只需觸摸取景器即可在靜態或移動的水平表面（例如桌子，地板或手）上放置有趣的虛擬3D對象，從而與動態真實世界環境進行無縫交互。您還可以將剪輯錄制下來并分享為GIF圖或者視頻形式。

Motion Stills的即時運動捕捉

AR模式由即時運動捕捉、6自由度跟蹤系統來支撐。6自由度跟蹤系統是基于能夠驅動Motion iOS中的Motion Text和YouTube上的Privacy Blur這兩項功能的相關技術的，這項技術可以精確跟蹤靜態和移動物體。我們對這項技術進行了改進和增強，以便能夠在任何使用陀螺儀的Android設備上運行有趣的AR應用體驗。

當您觸摸取景器時，Motion Stills AR會將3D虛擬物體“粘”到該位置，使其看起來像是真實世界場景的一部分。假設跟蹤的表面與地平面平行，并使用設備的加速度計傳感器提供手機相對于地平面的初始方向，我們便可以跟蹤攝像機的6個自由度（3個用于平移，3個用于旋轉）。這使我們能夠準確地變換和渲染場景中的虛擬物體。

當手機大致穩定時，加速計傳感器會提供由于地球重力而產生的加速度。對于水平面來說，重力矢量平行于跟蹤平面的法線，并且可以精確地提供手機的初始定向。

即時運動捕捉

即時運動捕捉的核心思想是解耦攝像機的平移和旋轉估計，將其視為獨立的優化問題。首先，我們只根據相機的視覺信號確定3D相機的平移。為此，我們觀察目標區域的明顯2D平移和跨幀的相對縮放比例。一個簡單的針孔照相機模型將圖像平面中的框的平移和縮放與相機的最終3D平移相關聯。

可以使用圖像平面中的框的平移和尺寸（相對縮放比例）的變化來確定兩個相機位置C1和C2之間的3D平移。但是，由于我們的相機模型并不假定相機鏡頭的焦距，我們不知道被跟蹤平面的真實距離/深度。

為了解決這個問題，我們在現有的跟蹤器（Motion Text中使用的跟蹤器）中添加了縮放比例估計，并在相機的視場之外追加了區域跟蹤。當相機靠近被跟蹤的表面時，虛擬內容精確地縮放，這與真實世界對象的感知一致。當您將鏡頭移出目標區域的視場之外并再返回時，虛擬物體將重新出現在大致相同的位置。

獨立的平移（僅從紅色框顯示視覺信號）和旋轉捕捉（從陀螺儀;但未顯示）

我們使用手機的內置陀螺儀來獲得設備的3D旋轉（翻滾，俯仰和偏擺）。估算的3D平移與3D旋轉相結合，使我們能夠在取景器中正確渲染虛擬內容。而且，由于我們分別處理旋轉和平移，所以我們的即時運動捕捉方法不需要校準，可以在任何帶有陀螺儀的Android設備上工作。

Motion Still AR模式下的小雞家庭

我們很高興為Android的Motion Stills增加這種新的模式，我們也希望您能喜歡它。請下載Motion Stills的新版本，并繼續在您最喜愛的社交媒體上發送#motionstills反饋意見。

致謝

在渲染方面，我們很感謝能夠使用動畫Poly模型來利用Google的Lullady引擎。感謝曾與我們合作過的團隊成員，他們是：John Nack，Suril Shah，Igor Kibalchich，Siarhei Kazakou和Matthias Grundmann。

WebRTCon 2018 7折火熱報名

WebRTCon希望與行業專家一同分享、探討當下技術熱點、行業最佳應用實踐。如果你擁有音視頻領域獨當一面的能力，歡迎申請成為講師，分享你的實踐和洞察，請聯系 speaker@livevideostack.com。

點擊了解大會詳情。

總結

以上是生活随笔為你收集整理的Android Motion Stills实现AR即时运动捕捉的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。