创作一个数字人，总共分几步？（上）
今年，由Unity Demo團(tuán)隊(duì)傾力打造的實(shí)時(shí)渲染短片《異教徒》實(shí)力收割了一大波好評(píng)，Unity也因此成為了大家口中“被游戲耽誤的影視公司。”
上個(gè)月，我們與大家分享了Unity Demo Team的3D任務(wù)/環(huán)境藝術(shù)家Plamen‘Paco’ Tamnev對(duì)《異教徒》環(huán)境美術(shù)的創(chuàng)作詳解（點(diǎn)擊回看）。這次，我們將為大家深入解讀《異教徒》主角Gawain的創(chuàng)作過(guò)程。
?
《異教徒》編劇兼導(dǎo)演Veselin Efremov表示：“為了創(chuàng)造短短幾分鐘的電影級(jí)視覺(jué)效果，我們需要從歷史、人物、政治、經(jīng)濟(jì)等方面從零構(gòu)建起一個(gè)完整的世界。這點(diǎn)是我們?cè)趧?chuàng)作中一直秉承的理念，每一次展示，都只是對(duì)一個(gè)宏大世界的一瞥。此次我們探索了一種不是基于視覺(jué)而是基于觸摸的人機(jī)界面，這是一種純粹的觸覺(jué)體驗(yàn)。這種體驗(yàn)已經(jīng)在一定程度上應(yīng)用在了在智能手表和盲文字母表中，我們此次應(yīng)用于Gawain（異教徒主角）的手臂裝置將其帶入新的高度。不基于單個(gè)機(jī)箱而是由復(fù)合半獨(dú)立元件組成的機(jī)器人技術(shù)也很有趣，這些元件可以根據(jù)手頭的任務(wù)組裝成不同的構(gòu)造。”
選角與制片
首先，我們委托了一家經(jīng)紀(jì)公司來(lái)選擇演員。戲劇演員Jake Fairbrother被選中擔(dān)任這一角色，這是他第一個(gè)數(shù)字影片角色。
我們先后共進(jìn)行了4次數(shù)據(jù)收集，第一次是在4D Max收集了演員的全身掃描數(shù)據(jù)；第二次是在位于倫敦外的InfiniteRealities工作室收集了演員的3D面部掃描和第一批4D動(dòng)作表演的數(shù)據(jù)；第三次，在位于Sofia的動(dòng)作捕捉工作室收集了更多動(dòng)作表演數(shù)據(jù)；最后，為了展示更完美的影片效果，我們又回到Infinite Realities工作室制作額外的4D表演。所有的聲音都是在倫敦的SideUK工作室錄制的。
藝術(shù)概念
?
?
《異教徒》項(xiàng)目開(kāi)始于Georgi Simeonov的一些早期概念設(shè)計(jì)圖，在與導(dǎo)演Veselin Efremov討論后，他制作了幾種不同風(fēng)格的人物。Gawain手中的手提箱作為故事中的基本元素，所以幾乎在所有版本中都有呈現(xiàn)。
?
?
在第二階段，Geroge和導(dǎo)演又討論了概念圖中哪些部分比較合適，哪些概念需要進(jìn)一步拓展。這里比較有意思的一點(diǎn)是Gawain服裝設(shè)計(jì)中加入了一點(diǎn)中世紀(jì)騎士的元素。
?
?
Gawain概念圖的最終版
頭部
?
?
最終影片中的Gawain
《異教徒》建模師PLAMEN表示：“在收到Infinite Realities的最初掃描數(shù)據(jù)和清理過(guò)的無(wú)表情面部模型后，我們與動(dòng)畫(huà)導(dǎo)演Krasimir Nechevski開(kāi)會(huì)討論了制作服裝和動(dòng)畫(huà)時(shí)需要明確的技術(shù)細(xì)節(jié)，例如面部的UV貼圖，不同紋理的分割方式與位置，頭部與身體的分割點(diǎn)。導(dǎo)演自開(kāi)始就強(qiáng)調(diào)頭部與身體分割點(diǎn)的重要性，他希望在面部特寫(xiě)中看到盡可能多的脖子及周圍區(qū)域。”
不同部位的紋理有不同的分辨率，身體和腿部紋理分辨率遠(yuǎn)比面部紋理要低，因?yàn)閮烧卟⒉粫?huì)在鏡頭中長(zhǎng)時(shí)間出現(xiàn)。在確定方向后，我們調(diào)整了掃描數(shù)據(jù)，并將其轉(zhuǎn)移到了新的模型上。
眼睛
?
?
眼部經(jīng)過(guò)了許多次的打磨和微調(diào)，導(dǎo)演Vess為我們提供了很多創(chuàng)意指導(dǎo)和改動(dòng)的方向，指出了許多可以改進(jìn)的地方。
眼部動(dòng)畫(huà)技術(shù)由Lasse Pedersen和Nicolas Brancaccio聯(lián)手完成。角膜、虹膜和鞏膜使用了同一個(gè)網(wǎng)格，而眼睛效果則由Unity中的著色器來(lái)控制。在眼瞼周圍的網(wǎng)格主要是讓眼球和眼瞼的過(guò)渡更為平滑，也是眼睛的瞼裂。
?
?
該網(wǎng)格用于模糊兩者間的法線貼圖，為眼睛添加濕潤(rùn)感
部分著色器控制示例，眼睛可直接使用AO，不必再使用烘焙的陰影網(wǎng)格來(lái)做出被遮蓋的效果。
牙齒
本文中所提到的技術(shù)棧、著色器和所有工具都可在最近發(fā)布的Digital Human資源包中找到。我們正在攥寫(xiě)深入介紹皮膚附著系統(tǒng)、著色器及其它技術(shù)細(xì)節(jié)的博文，請(qǐng)持續(xù)關(guān)注。
?
這是在導(dǎo)入U(xiǎn)nity編輯器之前，Marmoset Toolbag 3中成品資源的截圖。在制作紋理時(shí)，用不同光照條件測(cè)試材質(zhì)效果會(huì)更快捷。
?
?
人物的UV貼圖。我在此處花費(fèi)了大量精力，讓4K紋理能有盡可能多的細(xì)節(jié)。
面部表情
動(dòng)畫(huà)導(dǎo)演Krasimir：“開(kāi)發(fā)一個(gè)數(shù)字人類的制作流程是制作這部影片的主要目標(biāo)，也是團(tuán)隊(duì)的主要成就。在先前制作機(jī)器人或恐怖的怪物時(shí)我們盡量避免涉及數(shù)字人類，但是現(xiàn)在我們覺(jué)得時(shí)機(jī)已經(jīng)成熟。制作中有許多的困難——皮膚、頭發(fā)、牙齒和眼睛的著色都是互不相通且極具挑戰(zhàn)的領(lǐng)域，但制作數(shù)字人類最為困難的部分應(yīng)該是重現(xiàn)面部運(yùn)動(dòng)與微表情。如果處理不當(dāng)就會(huì)導(dǎo)致觀眾感到不適，這就是著名的‘恐怖谷’效應(yīng)。”
為人物臉部添加動(dòng)畫(huà)的方法有很多——Blendshape骨架、4D動(dòng)畫(huà)（帶體積的視頻）、機(jī)器學(xué)習(xí)、模擬，它們都各有優(yōu)劣，而我們選擇了一種非傳統(tǒng)的方法。這里我將按順序來(lái)解釋方法背后的考慮及其流程。總結(jié)起來(lái)，我們直接使用了4D動(dòng)畫(huà)，僅添加骨架上的褶皺貼圖（Wrinkle Map）到模型上。
值得注意的是，最近機(jī)器學(xué)習(xí)在處理2D影像、制作逼真的表情動(dòng)畫(huà)方面有了很大的進(jìn)步，有幾部作品通過(guò)合成3D面部表演都達(dá)到了非常出色的效果。可以說(shuō)ML將在未來(lái)被用于解決面部表演的制作問(wèn)題。ML中最重要的步驟是搜集大量的數(shù)據(jù)，4D采樣數(shù)據(jù)必須干凈，才能借助技術(shù)實(shí)現(xiàn)完全合成的面部表演。
?
?
首先，我們需要驗(yàn)證這個(gè)概念。我們使用該方法制作了一個(gè)簡(jiǎn)短的動(dòng)畫(huà)片段，如果不合適就拋棄這種動(dòng)畫(huà)。QQ賬號(hào)出售Infinite Realities開(kāi)發(fā)的4D動(dòng)作捕捉系統(tǒng)已經(jīng)有了不小的成果，我們與工作室合作錄制了幾段早期片段。
?
?
雖然系統(tǒng)制作出的動(dòng)畫(huà)的確很好，但使用4D依舊有一些挑戰(zhàn)。首先，由于方法有些許缺陷，掃描數(shù)據(jù)有些許的瑕疵。由于頭發(fā)或可見(jiàn)度問(wèn)題，部分皮膚表面未能被捕捉，圖像會(huì)有許多微小的噪點(diǎn)，反射性表面會(huì)有很多瑕疵，攝制時(shí)需要頭部穩(wěn)定，幀之間的網(wǎng)格缺乏連貫性。
?
?
未處理的網(wǎng)格 4D捕捉而來(lái)的紋理
上方可以看到未經(jīng)處理、用點(diǎn)表示的數(shù)據(jù)是什么樣的。體積視頻每一幀都由大量獨(dú)特的三角形構(gòu)成。
幸好這里已經(jīng)有現(xiàn)成的解決方案——由Russian3DScanner開(kāi)發(fā)的Warp3D軟件。軟件可利用基于線條的Blendshape制作連貫的網(wǎng)格。在最初嘗試時(shí)，我們?cè)赪rap3D中手動(dòng)清除了許多數(shù)據(jù)，軟件會(huì)在演員面部加上一整套點(diǎn)作為標(biāo)記，再將網(wǎng)格套用到所有幀上，形成一套連貫的網(wǎng)格。
?
?
光有點(diǎn)作為標(biāo)記并不夠，人工設(shè)定點(diǎn)的位置難免出現(xiàn)錯(cuò)誤。為此，Wrap3D中功能可借助光流和紋理分析來(lái)讓連續(xù)幀的像素互相匹配。在每幀上投射紋理后，我們就得到了一套帶有相同拓?fù)涞木W(wǎng)格流水線。在解決這個(gè)問(wèn)題后，我們還需處理噪點(diǎn)一類的圖像瑕疵，將正常的網(wǎng)格移植到瑕疵處。4D數(shù)據(jù)處理的首席編程Lasse Pedersen開(kāi)發(fā)了一套在Unity中使用的數(shù)據(jù)導(dǎo)入和編輯工具。
雖然結(jié)果尚可，但圖像經(jīng)過(guò)處理、降噪后的圖像變得過(guò)于平滑，缺少了像毛孔這類微型細(xì)節(jié)。我們認(rèn)為可以通過(guò)添加更多動(dòng)畫(huà)細(xì)節(jié)來(lái)進(jìn)一步提升圖像質(zhì)量。為此，我們使用了SnappersTech開(kāi)發(fā)的FACS骨架，其拓?fù)渑c我們的4D數(shù)據(jù)相同。Lasse開(kāi)發(fā)的解算器成功地在骨架上給褶皺貼圖添加了動(dòng)畫(huà)，實(shí)現(xiàn)了毛孔級(jí)別的細(xì)節(jié)。下方是實(shí)驗(yàn)后期的一個(gè)例子。
隨后網(wǎng)格數(shù)據(jù)用DCC清理完畢。Lasse開(kāi)發(fā)的工具有許多的潛力和用例，他本人正攥寫(xiě)相關(guān)的深度博文，請(qǐng)持續(xù)關(guān)注。所有工具都包括在了最近發(fā)布的Digital Human資源包中。
在項(xiàng)目第一部分的完成期限前，我有幸在某場(chǎng)會(huì)議上遇到了Wrap3D的開(kāi)發(fā)者們，并與之達(dá)成了合作。合作非常成功，他們清理后的4D數(shù)據(jù)運(yùn)行非常迅速、質(zhì)量非常高。
?
結(jié)果雖然并不完美，但也沒(méi)有“恐怖谷”的感覺(jué)，因此我們更加確定可以沿著這條路走下去。在測(cè)試結(jié)束、驗(yàn)證管線后，我們決定繼續(xù)與Infinite Realities和Russian3DScanner合作，使用處理后的4D數(shù)據(jù)在影片的第二部分加入更多的面部表演和特寫(xiě)。而兩家合作伙伴也在不斷地改進(jìn)工具和設(shè)備，產(chǎn)出質(zhì)量更高的成果。
?
?
?
為了用褶皺貼圖制作出最終效果，需要有一個(gè)非常細(xì)致的面部骨架。我們起初計(jì)劃在遠(yuǎn)離攝像機(jī)的位置使用骨架制作面部表演。
FACS骨架是制作面部表演的主流方案。方案源自1978年P(guān)aul Ekman開(kāi)發(fā)的FACS（Facial Action Coding System，面部動(dòng)作編程系統(tǒng)），是系統(tǒng)化表情分類的常見(jiàn)標(biāo)準(zhǔn)系統(tǒng)，也是精神病學(xué)家和動(dòng)畫(huà)師的實(shí)用工具。FACS骨架糅合上百個(gè)夸張表情的Blendshape作為AU（Action Unit，動(dòng)作單元），每個(gè)單元發(fā)生位移都會(huì)牽動(dòng)近乎所有的面部肌肉。這些形狀加入動(dòng)畫(huà)后通過(guò)所謂的矯正或間隔Blendshape來(lái)改正錯(cuò)誤的動(dòng)畫(huà)。接著HMC（頭戴攝像機(jī)）捕捉演員的面部表演，來(lái)控制復(fù)雜的模型系統(tǒng)、驅(qū)動(dòng)相應(yīng)的Blendshape。
?
在制作眼睛動(dòng)畫(huà)方面，Christian Kardach開(kāi)發(fā)了一款使用計(jì)算機(jī)視覺(jué)的工具，來(lái)追蹤Maya渲染圖中的虹膜。
4D還存在面部動(dòng)作與身體動(dòng)作的結(jié)合難題。捕捉高質(zhì)量面部表演的設(shè)備體積巨大，捕捉范圍有限，拍攝時(shí)演員需要坐著不動(dòng)，頭部的可動(dòng)范圍也很有限。而在隨后拍攝動(dòng)作捕捉時(shí)，表演需要盡可能地契合面部動(dòng)作。只可惜目前市面上并不存在可以借助頭戴設(shè)備捕捉這種高清4D動(dòng)畫(huà)的技術(shù)。
《異教徒》數(shù)字人類Gawain的頭部及面部制作細(xì)節(jié)分享結(jié)束，下一期，我們會(huì)為大家揭秘Gawain的身體以及衣物制作的幕后。
總結(jié)
以上是生活随笔為你收集整理的创作一个数字人，总共分几步？（上）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 有关像素动作游戏《Resolutiion
- 下一篇： 创作一个数字人，总共分几步？（下）