給手繪圖著色（添加顏色或色彩）：CVPR2020論文點評

Learning to Shade Hand-drawn Sketches

論文鏈接：https://arxiv.org/pdf/2002.11812.pdf

摘要

本文提出了一種全自動的方法來產(chǎn)生詳細(xì)和準(zhǔn)確的藝術(shù)陰影對線素描和照明方向。本文還提供了一個新的數(shù)據(jù)集，其中包含1000個用燈光方向標(biāo)記的線條和陰影對示例。值得注意的是，生成的陰影可以快速傳達(dá)草圖場景的底層三維結(jié)構(gòu)。因此，本文的方法產(chǎn)生的陰影可以直接使用或作為藝術(shù)家的一個極好的起點。本文證明了本文提出的深度學(xué)習(xí)網(wǎng)絡(luò)采用手繪草圖，在潛在空間建立三維模型，并渲染產(chǎn)生的陰影。生成的陰影尊重手繪線和底層三維空間，并包含復(fù)雜和準(zhǔn)確的細(xì)節(jié)，如自陰影效果。此外，生成的陰影包含藝術(shù)效果，如邊緣照明或從背光出現(xiàn)的光暈，這是可以通過傳統(tǒng)的三維渲染方法實現(xiàn)的。

1. Introduction

本文的工作使用深度學(xué)習(xí)方法來學(xué)習(xí)一個非線性函數(shù)，該函數(shù)“理解”二維草圖所隱含的三維空間關(guān)系，并呈現(xiàn)二元陰影（圖1top）。本文的神經(jīng)網(wǎng)絡(luò)的原始輸出是二值陰影，藝術(shù)家可以根據(jù)線條圖在單獨的圖層上修改二值陰影。不需要額外的后處理，本文中的圖像是原始網(wǎng)絡(luò)輸出和輸入線性部分的簡單組合。如果需要軟陰影，藝術(shù)家可以使用本文網(wǎng)絡(luò)的第二方輸出（圖2 S2）。本文的網(wǎng)絡(luò)也會從不斷變化的照明方向產(chǎn)生一致的陰影（第4.3節(jié)），即使本文是從一組稀疏的照明方向訓(xùn)練。

本文工作的主要貢獻：

?本文創(chuàng)建了一個新的數(shù)據(jù)集，其中包含1160個手繪線條圖和標(biāo)記有照明方向的陰影。
?本文提議建立一個網(wǎng)絡(luò)，該網(wǎng)絡(luò)“理解”線條圖所隱含的結(jié)構(gòu)和三維空間關(guān)系，并產(chǎn)生高度詳細(xì)和準(zhǔn)確的陰影。

?端到端應(yīng)用程序，可根據(jù)給定的二維線條圖和指定的照明方向，從任意照明方向生成二進制或軟陰影。

2. Related Work

Non-photo realistic rendering in Computer Graphics

計算機圖形學(xué)中cel動畫的風(fēng)格化陰影[23，3]以前的工作集中在cel動畫中的陰影渲染和對陰影應(yīng)用藝術(shù)外觀。這些論文強調(diào)陰影在人對cel動畫的感知中起著重要的作用。

Image translation and colorization

近年來，對圖像翻譯中生成性對抗網(wǎng)絡(luò)的研究[6，21]產(chǎn)生了令人印象深刻的合成圖像，這些圖像被認(rèn)為是與原作相同的。Pix2pix[13]在其生成器網(wǎng)絡(luò)中部署了U-net[25]體系結(jié)構(gòu)，并演示了在圖像轉(zhuǎn)換應(yīng)用中，當(dāng)包含跳過連接時，U-net的性能得到了提高。CycleGAN[41]介紹了一種在沒有成對示例的情況下學(xué)習(xí)從輸入圖像到樣式化輸出圖像的映射的方法。對真實灰度圖像著色的研究[2,39,12,40]證明了用GANs和U-net[25]結(jié)構(gòu)對圖像著色的可行性。

Deep learning in line drawings

研究者認(rèn)為線條畫包括線條藝術(shù)色彩化[36，15，38，5，4]、素描簡化[28，26]、智能墨水機[27]、線條提取[17]、線條樣式化[18]和從素描計算普通地圖[29，20]。

Relighting

深度學(xué)習(xí)也被應(yīng)用于現(xiàn)實場景的重新照明。Xu等人
[35]提出了一種在給定來自五個不同方向光源的圖像的情況下，從任意方向光重新照明的方法。Sun等人
[30]提出了一種在給定單一輸入（如選擇）的情況下重新照亮人像的方法。訓(xùn)練數(shù)據(jù)集由多攝像機設(shè)備捕獲。這部研究與本文的不同之處在于，他們側(cè)重于重新塑造富有特色的現(xiàn)實主義形象，而本文則側(cè)重于手繪草圖的藝術(shù)陰影。

Line drawings to normal maps

Sketch2normal[29]和deep normal[20]使用深度學(xué)習(xí)從線條圖計算法線貼圖。他們的訓(xùn)練數(shù)據(jù)集是用真實感渲染從三維模型中渲染出來的。Sketch2帶有一些注釋的四條腿動物在線圖的正常訓(xùn)練。DeepNormal使用對象的遮罩作為輸入線圖形。他們解決了一個不同的，可以說更難的問題。但是，計算出的法線貼圖可用于渲染陰影，本文將此方法與第4節(jié)中的直接陰影計算進行比較。

3. Learning Where to Draw Shadows

3.1. Data Preparation and Data Augmentation

本文觀察到，藝術(shù)家傾向于從一組相對較小的特定照明方向中進行選擇，特別是在漫畫和日本動畫中。為此，本文在圖1中定義了由2×2立方體形成的26個照明方向。本文發(fā)現(xiàn)，用戶可以直觀地從圍繞2D對象順時針的八個照明方向和指定光源的三個深度（前、平面內(nèi)和后）中的一個方向進行選擇。

3.2. Network Architecture

本文的發(fā)電機包含以下模塊：剩余塊[7][8]、薄膜塊[22]和擠壓和激勵（SE）塊[10]。本文的生成器的總體架構(gòu)遵循具有跳過連接的U-net架構(gòu)[25，13]。本文的鑒別器使用殘差塊。詳細(xì)信息如圖2所示。

本文還提取了兩個監(jiān)控端輸出，s1和s2，以便于反向傳播。本文的渲染網(wǎng)絡(luò)的早期階段生成連續(xù)的、柔和的陰影圖像。在最終階段，網(wǎng)絡(luò)將這些圖像轉(zhuǎn)換為二值陰影。側(cè)邊輸出s1和s2中的軟陰影質(zhì)量如圖2所示。本文再次注意到，本文的輸出不需要任何后期處理來生成二值陰影；本文中的圖像是將本文的生成器的輸出與輸入草圖合成的直接結(jié)果。

本文的鑒別器的基本模塊包括降尺度殘差塊和殘差塊。由于不同陰影的許多局部特征彼此相似，本文部署了自我注意層，使本文的鑒別器對遠(yuǎn)處的特征敏感。在圖2中，最后一個鑒別器由全局平均池化、0.3概率的退出和256個濾波器的完全連接層組成。因為產(chǎn)生陰影比辨別假陰影和真陰影更困難，所以一個簡單的辨別器就是充分和簡單的訓(xùn)練。

3.3. Loss Function

4. Experiments and Evaluation

如圖3、4、6、5、7所示，本文的工作表現(xiàn)良好。例如，在兩個人和多人的線條圖（圖3第二行）上，本文的工作能夠陰影每個字符，但是，DeepNormal和Sketch2Normal將多個人視為一個對象。值得注意的是，本文的工作在生成非常詳細(xì)的陰影方面非常出色，例如在女孩的頭發(fā)和裙子上。

就草圖的復(fù)雜性，盡管本文的訓(xùn)練數(shù)據(jù)集有中等程度的細(xì)節(jié)，但是本文的網(wǎng)絡(luò)在復(fù)雜的草圖上表現(xiàn)良好，如圖3所示。本文也可以在不需要遮罩的情況下，在物體邊界之外表現(xiàn)出色。此外，當(dāng)光源改變深度時，本文的工作會產(chǎn)生更精確的細(xì)節(jié)。如圖4所示，DeepNormal[20]中的陰影幾乎覆蓋了整個圖像，因此看起來好像光線在物體后面。但是，在這些圖像中，光源與對象位于同一平面上，從而產(chǎn)生側(cè)照明。

在圖6中，本文通過與3D測試模型的比較，解釋了當(dāng)光線位于物體平面時，DeepNormal[20]表現(xiàn)不佳的原因。特別是，使用本文的技術(shù)，兔子頭上和腿上的陰影更接近地面的真實情況，并顯示自我陰影。

如圖4所示，由于256×256塊的多重平均值，DeepNormal的法線貼圖具有低方差（請參閱DeepNormal的第3.4節(jié)）。這種低方差導(dǎo)致前照燈看起來像側(cè)照燈，側(cè)照燈看起來像后照燈。Sketch2Normal生成的一些圖像有一些偽影，因為預(yù)測的法線貼圖有一些空白區(qū)域。因為它是在簡單草圖上訓(xùn)練的，草圖2通常是在復(fù)雜草圖上訓(xùn)練的。

最后，本文注意到，本文的方法產(chǎn)生藝術(shù)邊緣高光從背光。請參閱圖3和更多比較圖中的普通地圖的補充材料。與在本文的數(shù)據(jù)集上訓(xùn)練的Pix2pix和U-net相比，本文的架構(gòu)在質(zhì)量上也表現(xiàn)良好（圖7）。一般來說，U-net在精確的軟陰影中生成，這與本文的二元陰影目標(biāo)相去甚遠(yuǎn)。Pix2pix在對象邊界之外生成陰影，并忽略草圖中的幾何信息。在本文早期的研究中，本文使用了帶有跳躍連接的殘差塊自動編碼器，它產(chǎn)生了軟陰影。為了達(dá)到二值陰影的目的，本文增加了一個鑒別器，并采用了一個更深層次的渲染網(wǎng)絡(luò)。如果藝術(shù)家想要柔和的陰影，可以使用側(cè)面輸出s2。

雖然本文網(wǎng)絡(luò)的最終輸出是二進制陰影，但是如果一個藝術(shù)家想要軟陰影，可以使用側(cè)面輸出s2，如圖2所示。本文的工作是對先前草圖自動著色工作的補充[36，15，38，5，4]。圖8展示了本文的陰影可以與這些著色方法相結(jié)合。雖然大多數(shù)先前的彩色化工作結(jié)合了陰影和陰影效果，但將這些效果分離為獨立的圖像層以進行進一步的藝術(shù)編輯將是有趣的。

用戶接受了一個簡短的培訓(xùn)，展示了來自本文的數(shù)據(jù)集的15個地面真實陰影草圖，并強調(diào)了前照燈和側(cè)照燈之間的差異。本文還要求用戶將自己的繪畫體驗分為“專業(yè)”、“一般”、“初學(xué)者”或“0體驗”。本文在網(wǎng)上分發(fā)了調(diào)查結(jié)果，共收到60份。有繪畫經(jīng)驗者40人，其中專業(yè)畫家13人，一般水平11人，初學(xué)者16人。結(jié)果見表1。本文的方法表現(xiàn)良好，幾乎與藝術(shù)家創(chuàng)造的地面真實陰影相匹配。本文進行了單因素方差分析來分析利克特得分。結(jié)果證明，本文的結(jié)果在數(shù)量上與groundtruth相似（p=0.24），優(yōu)于其他方法（p<0.05）。

本文進行了7項消融研究，如圖10和9所示。為了定量比較，本文計算了Frchet起始距離（FID）[9]每4000次迭代本文的工作和消融研究使用整個數(shù)據(jù)集。圖9顯示本文的工作具有最低和最穩(wěn)定的FID。這說明本文提出的每一個特征都是必要的，而全變分正則化是至關(guān)重要的。圖10定性地表明，如果沒有本文提出的元素，網(wǎng)絡(luò)性能就會下降：邊界會變得模糊，并且會出現(xiàn)陰影。在所有消融研究中，“無自我注意”的影響最小，如圖10（b）和圖9中的FID所示。設(shè)置總變化正則化器的系數(shù)大于5倍或移除正則化器對整體性能的影響最大，并破壞陰影的平滑度。相應(yīng)的FID也強調(diào)了全變正則化的重要性。在圖10中，所有圖像使用相同的照明方向“810”。一般情況下，當(dāng)去除自關(guān)注層時，網(wǎng)絡(luò)的細(xì)節(jié)表現(xiàn)不佳，陰影塊內(nèi)有微小的偽影；如果沒有坐標(biāo)通道或膠片塊，輸出會有不真實的陰影邊界和物體邊界外的陰影；如果沒有SE塊，會有暗影“粉刺”，整體外觀看起來凌亂；如果沒有兩個深監(jiān)督輸出（λ1=.9，λ2=λ3=0，λ4=.4），輸出會有網(wǎng)格狀的點偽影，精度較低；如果網(wǎng)絡(luò)中電視正則化器的權(quán)重增加5倍或缺少電視正則化器，則網(wǎng)絡(luò)收斂速度過快陷入局部極小值。

Future Works

在不同大小的輸入圖像上，網(wǎng)絡(luò)性能是不不變的。大部分320×320輸入具有最好的性能，因為本文的網(wǎng)絡(luò)是在320×320大小的輸入上訓(xùn)練的。480×480的輸入圖像也有很好的性能。盡管本文在用戶研究中幾乎與地面真實相匹配，但是本文生成的陰影并沒有地面真實那么詳細(xì)，特別是在硬表面物體上。另外，如果輸入線圖的本地部分，則網(wǎng)絡(luò)無法產(chǎn)生正確的陰影。作為未來的工作，本文將開發(fā)一個網(wǎng)絡(luò)，可以輸出各種圖像大小，以滿足高分辨率的繪畫要求。

Conclusions

本文的條件生成對抗網(wǎng)絡(luò)學(xué)習(xí)一個非真實感渲染器，可以自動從手繪草圖生成陰影。本文是第一個嘗試通過深入學(xué)習(xí)從草圖直接生成陰影的人。與現(xiàn)有技術(shù)相比，本文的結(jié)果更為有利，現(xiàn)有技術(shù)可以在簡單和復(fù)雜的圖像上渲染草圖的法線貼圖。本文還證明，本文的網(wǎng)絡(luò)架構(gòu)能夠“理解”二維線圖所隱含的三維空間關(guān)系，足以生成詳細(xì)和準(zhǔn)確的陰影。

總結(jié)

以上是生活随笔為你收集整理的给手绘图着色（添加颜色或色彩）：CVPR2020论文点评的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。