金磊發(fā)自凹非寺

　　量子位報道公眾號 QbitAI

　　在攝影這件事上，「光影」簡直不要太重要。

　　畢竟大師們攝影作品，大多都是對「光」和「影」的拿捏。

　　△來自俄羅斯攝影師 George Mayer

　　而最近，MIT 和谷歌等機構(gòu)聯(lián)手提出了一種用神經(jīng)網(wǎng)絡(luò)「打光」的新方法，大大降低了對「光影」拿捏的門檻——神經(jīng)光線傳輸（Nerual Light Transport，NLT）。

　　例如下圖所示，只要拍好人物照片，無論背景如何轉(zhuǎn)換，都可以相應(yīng)的調(diào)節(jié)人物身上的「光影」。

　　去背景后的「AI 打光」效果更加明顯。

　　還有這樣的。

　　雖說「打光」效果是出來了，但這畫風(fēng)…有點像陰間的東西了。

　　言歸正傳，繼續(xù)聊聊 NLT 這項技術(shù)。

　　NLT——拿捏光線的一把好手

　　光線傳輸（LT）可以描述一個場景中，物體在不同光照和方向下所呈現(xiàn)出來的樣子。

　　而完整地了解一個場景的 LT，還可以實現(xiàn)任意光照下的新視圖合成。

　　于是，MIT 和谷歌的研究人員基于圖像 LT 采集（以人體為主），提出了一種半?yún)?shù)的深度學(xué)習(xí)框架，來學(xué)習(xí) LT 的神經(jīng)表示，名曰NLT。

　　總體而言，NLT 可以單獨或同時完成以下兩項任務(wù)：

• 用定向光或 HDRI 圖，重新照亮場景的光線真實性。

• 合成具有視圖依賴性效果的新視圖。

　　來看下 NLT 在不同任務(wù)下的效果。

　　首先是「定向重打光」（Directional Relighting）。

　　可以看到人物在光線的變化下，陰影、高亮的變化非常自然。

　　接下來，是基于「背景圖的重打光」（Image-Based Relighting）。

　　從背景圖中，大致可以判斷光源（太陽）的方向，而隨著背景圖的轉(zhuǎn)動，人物身上的陰影也會隨之發(fā)生改變。

　　最后，是「視圖合成+同步光源」（View Synthesis & Simultaneous）。

　　除了視覺效果驚艷之外，從定性角度來看，NLT 方法也取得了不錯的效果。

　　例如，在「重打光」（Redlighting）任務(wù)中，與其它基線方法相比，在 PSNR 和 SSIM 兩個指標中都取得了最先進的結(jié)果。

　　同樣，在「視圖合成」任務(wù)中，NLT 的結(jié)果也是相當不錯。

　　那么，NLT 具體是如何實現(xiàn)這般效果的呢？

　　NLT 模型：「查詢」、「觀測」兩步走

　　NLT 的模型網(wǎng)絡(luò)主要由 2 條路徑構(gòu)成，分別是查詢路徑（Query Path）和觀測路徑（Observation Path）。

　　「觀測路徑」將附近的 K 個觀測值作為輸入，在目標光和觀察方向周圍采樣，并將它們編碼成多尺度特征，匯集起來用來消除對其順序和數(shù)量的依賴。

　　接下來，這些匯集起來的特征將被連接到 「查詢路徑 」的特征激活上。

　　這條路徑將所需的光線和觀察方向，以及物理上精確的 disue base 作為輸入。

　　「查詢路徑」預(yù)測了一個殘差圖，該殘差圖被添加到 diuse base 上，用來產(chǎn)生紋理渲染。

　　最后，通過將深度神經(jīng)網(wǎng)絡(luò)嵌入到 UV 紋理空間中，便可以合成與可見光線和觀看角度對應(yīng)的紋理空間 RGB 圖像。

　　華人小哥一作

　　這項研究的第一作者，是來自 MIT 的博士生，張修明。

　　張修明目前在 MIT 計算機科學(xué)與人工智能實驗室（CSAIL），從事計算機視覺和計算機圖形學(xué)領(lǐng)域的工作，尤其對重光照、視圖合成和材料建模感興趣。

　　另一位主要作者是 Sean Fanello。

　　Sean Fanello 是一名研究科學(xué)家，也是谷歌的經(jīng)理，在谷歌領(lǐng)導(dǎo)容量性能捕獲方面的工作。

　　研究興趣主要包括數(shù)字人類、體積重建、高質(zhì)量的深度傳感和非剛性跟蹤。

　　最后，項目將在近日開源，感興趣的朋友持續(xù)關(guān)注下方參考鏈接中的信息更新。

　　參考鏈接：

　　http://nlt.csail.mit.edu/

總結(jié)

以上是生活随笔為你收集整理的照片你随便拍，「光影」我任意调，MIT谷歌新研究，器材党老法师看了会沉默的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。