人臉圖像是計算機視覺領域中研究歷史最久，也是應用最廣泛的圖像。近幾年隨著研究方法的進步以及相關數據集的收集，人臉風格化成為了一個非常熱門的研究領域和應用方向，本文我們來介紹其中的核心技術和相關資源。

作者&編輯 | 言有三

1. 什么是人臉風格化

所謂人臉風格化，就是將人臉頭像轉換為特定的風格頭像，最常見的包括素描肖像風格，卡通形象(動畫)風格，油畫風格，分別如下圖所示：

素描肖像風格的重點在于保持人臉的輪廓和重要五官信息，去掉無關的顏色，紋理等內容，它模仿的是就是素描，相對比較嚴肅。

卡通形象(動畫)風格的重點在于簡潔，統一的顏色和紋理風格，對五官進行適當的美化(比如眼睛，鼻子的調整)。

油畫風格的重點則在于渲染有藝術感染力的顏色和紋理，對整個內容的改變有時候比較大。

三者的相同之處在于，需要保持人臉的身份信息，即可辨識為本人。

不同之處在于，肖像風格很少會對人臉五官作出大的調整，即不會將小眼睛變為大眼睛，大鼻子變為小鼻子，因為那樣就不寫實了。而卡通風格的其中一個重點就是要對五官進行調整，因為卡通形象的顏色和紋理比較單一，如果不進行美化，大眾臉的五官缺陷很容易被放大。油畫風格的差異則比較大，主要在于顏色和紋理風格的調整程度。

下面我們來分析這三類風格的核心技術點。

2.?素描肖像風格

從上圖肖像風格我們其實可以看出，肖像風格的重點在于線條輪廓的完整性，均勻性，而人臉的形狀和五官位置其實不需要作出調整，那么一種最成熟的技術就是邊緣檢測。

以OpenCV庫中具有代表性的兩種邊緣檢測算法為例：

Sobel是一種基于簡單的基于梯度信息的方法，Random forests則是基于局部塊分類的方法，他們各自有特點。比如Sobel的結果對比度更高，而Random forests的結果更加干凈簡單。

基于邊緣檢測作出素描肖像風格，重點就在于參數的調試和后處理，在邊緣的召回率和準確率之間取得平衡，代表性的方法可以參考文[2]。這一類方法比較容易受到噪聲的影響，如果去細看前面的那張處理圖，就能看出一些細節問題。

雖然素描肖像風格本身也可以用最新的一些方法進行生成，比如接下來會介紹的基于圖像風格化和圖像翻譯的方法，但是相對于傳統的方法其效果改進并不是非常明顯，因此我們就不再做展開解讀。

[1] Dollar P, Zitnick C L. Structured Forests for Fast Edge Detection[C]. international conference on computer vision, 2013: 1841-1848.

[2]?Winnemoller H, Kyprianidis J E, Olsen S C, et al. Special Section on CANS: XDoG: An eXtended difference-of-Gaussians compendium including advanced image stylization[J]. Computers & Graphics, 2012, 36(6): 740-753.

3. 油畫風格

說起風格化技術，研究歷史其實比較久遠，早期的風格遷移方法以Image Analogie[3]為代表，是基于圖像塊的紋理仿真運算，由于不是基于學習的方法，效果和影響力很有限。真正讓大眾認識這一門技術的，還是2015年左右的基于卷積神經網絡的風格遷移論文[4]的提出，展示了如何將圖像進行油畫風格化的應用，這是早期基于圖像的風格遷移算法。

所謂風格遷移，即將某一幅圖像的風格(上圖中的小圖，也稱為風格圖)遷移到另一幅圖像(上圖a，也被稱為內容圖)，得到目標結果圖(上圖b)，目標結果圖同時擁有了風格圖的風格和內容圖的內容。

內容是圖像的語義信息，指的是圖里包含的目標及其位置，它屬于圖像中較為底層的信息，可以使用灰度值，目標輪廓等進行描述。風格則指代筆觸，顏色等信息，是更加抽象和高層的信息。

圖像風格可以用數學來描述，其中常用的是格拉姆矩陣(Gram Matrix)，它的定義為n維歐氏空間中任意k個向量的內積所組成的矩陣。

基于圖像特征的Gram矩陣計算方法如下。

其中Fik_l是向量化后的第l個網絡層的特征圖i和特征圖j的內積，k即向量的長度。

格拉姆矩陣可以看做特征之間的偏心協方差矩陣，即沒有減去均值的協方差矩陣，內積之后得到的矩陣的對角線元素包含了不同的特征，而其他元素則包含了不同特征之間的相關信息。因此格拉姆矩陣可以反應整個圖像的風格，如果我們要度量兩個圖像風格的差異，只需比較他們格拉姆矩陣的差異即可。

假設我們有兩張圖，一張是欲模仿的風格圖a，一張是內容圖p，想要在不更改內容圖p的語義內容的基礎上生成帶有風格圖a的風格的結果圖x，就需要同時最小化風格損失和內容損失，即重建風格損失和內容損失。

上圖包含了兩個重建通道。

(1) 內容重建通道。選擇某一個抽象級別較高的特征層計算內容損失，它的主要目標是保留圖像主體的內容和位置，損失計算如下，使用了特征的歐式距離，和分別是第l層生成圖和內容圖的特征值。

(2) 風格重建通道。與內容重建不同，CNN從底層到高層的每一層都會對損失有貢獻，因為風格采用格拉姆矩陣進行表述，所以損失也是基于該矩陣計算，每一層加權相加，第l層的損失定義如下。

整個的風格損失函數計算則如下：

上述的風格遷移算法中內容重建不使用多尺度，是因為內容圖本身只需要維持可識別的內容信息，多尺度不僅會增加計算量，還引入噪聲，抽象層次較低的低尺度關注了像素的局部信息，可能導致最終渲染的結果不夠平滑。風格重建使用多尺度不僅有利于模型的收斂，而且兼顧了局部的紋理結構細節和整體的色彩風格。

上述方法是基于圖的風格化方法，非常耗時，當前的主流方法是基于模型的方法，可以實現單一模型進行單種，多種，甚至任意風格的轉換，感興趣的同學可以閱讀綜述文章[5]進行學習。當然在基于模型的方法中，仍然會借鑒格拉姆矩陣進行風格的表示。

[3] Hertzmann A, Jacobs C E, Oliver N, et al. Image analogies[C]. international conference on computer graphics and interactive techniques, 2001: 327-340.

[4]?Gatys L A, Ecker A S, Bethge M, et al. A Neural Algorithm of Artistic Style[J]. arXiv: Computer Vision and Pattern Recognition, 2015.

[5]?Jing Y, Yang Y, Feng Z, et al. Neural Style Transfer: A Review[J]. arXiv: Computer Vision and Pattern Recognition, 2017.

4. 動畫風格

動畫風格，這里特指的就是有某種動畫作品風格的效果了，以日本的二維動畫為代表，最近抖音新增的特效就屬于這種，實際效果如下：

上圖我分別測試了正面，大角度，以及本身就是動畫的圖像，效果都還不錯。它采取的是對人臉進行風格化處理，對其他區域進行類似的顏色和紋理遷移的方案。

可以看出的是，盡管輸入圖的顏色紋理有很大差異，但是輸出圖則非常一一致，這說明其本質是從輸入到特定風格的映射，哪怕輸入圖本身就是動畫，也會被映射到特定的風格。

要實現這一類風格的生成，需要對輸入圖進行風格編碼，最適合的技術便是GAN，其中人臉編碼方法中StyleGAN[6]是最成功的方法。不過對于人臉動畫風格來說，改變的是整體風格，而不是局部細節，所以原理上更為簡單一些。

使用GAN進行風格遷移是一個非常大的研究領域，方法很多，我們這里只能對其中最核心的技術進行介紹，以Pix2Pix和CycleGAN為代表，前者需要成對數據進行訓練，而后者則不需要，所以CycleGAN[7]才是更加現實的選擇。

CycleGAN通過對源域圖像進行兩步變換：首先嘗試將其映射到目標域，然后返回源域得到二次生成圖像，從而消除了在目標域中圖像配對的要求，這是一個循環的結構，因此稱之為CycleGAN，框架示意圖如下：

從上圖我們可以看出CycleGAN其實就是兩個方向相反的單向GAN，它們共享兩個生成器，然后各自有一個判別器，加起來總共有兩個判別器和兩個生成器。一個單向GAN有兩個loss，CycleGAN加起來總共有四個loss。

X和Y分別表示兩個域的圖像，可知這里存在兩個生成器G和F，分別用于從X到Y的生成和Y到X到生成，包含兩個判別器，分別是Dx和Dy。完整的loss如下：

前兩項就是普通的loss，Lcyc則是CycleGAN框架的重點。

背后的意義就是樣本從一個空間轉換到另一個空間后，反之還可以轉換回來。

直接使用CycleGAN是不可能得到一個工業界的模型，因為CycleGAN確缺少對人臉語義信息的理解，會得到下面這樣的效果。

所以需要對其進行改進，讓它能夠理解語義信息，只處理該處理的區域，保證人臉五官分布的合理，其中有兩個方法是比較典型的，都是基于CycleGAN的改進，對人臉進行風格化的主流算法基本無出其右。

一個是使用關鍵點進行約束的方法[8]，通過增加關鍵點預測任務，來約束輸出圖像的五官分布。

另一個是基于注意力機制的方法[8]，使用注意力機制對人臉的有效區域進行學習。

下面是使用文[9]方法處理的結果，可知效果要好很多了，這是一個非常有希望的方法，對數據集進行優化后，有望取得很好的效果。

關于詳細的工程解讀，我們之前有過文章，大家可以參考。

【百戰GAN】二次元宅們，給自己做一個專屬動漫頭像可好！

動畫風格化相比于素描和油畫，對細節比較敏感，因為使用了特征編碼，難點在于人臉的五官分布不能丟失或者錯亂，其中人臉圖像中的經典難題會對結果造成很大影響，比如光照，姿態等

下圖展示了處理失敗的案例。

[6] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 4401-4410.

[7] Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]//Proceedings of the IEEE international conference on computer vision. 2017: 2223-2232.

[8] Wu R, Gu X, Tao X, et al. Landmark Assisted CycleGAN for Cartoon Face Generation.[J].arXiv: Computer Vision and Pattern Recognition, 2019.

[9] Kim J , Kim M , Kang H , et al. U-GAT-IT: Unsupervised Generative Attentional Networkswith Adaptive Layer-Instance Normalization for Image-to-Image Translation[J]. 2019.

5. 人臉風格化數據集

人臉的風格化在娛樂社交領域里有非常廣泛的應用，下面我們給大家介紹一些用得上的數據集。

(1) CUFSF

數據集地址：http://mmlab.ie.cuhk.edu.hk/archive/cufsf/。

發布于2009年，這是一個人像素描數據集，原圖來自于FERET，有1195張成對的灰色正面肖像圖和對應的素描圖。

(2) IIIT-CFW1.0

數據集地址：http://cvlab.cse.msu.edu/siw-spoof-in-the-wild-database.html。

發布于2016年，包含100個名人的8928張卡通圖片，同時也附帶了1000張真實圖。

(3) CartoonSet10/100k

數據集地址：https://google.github.io/cartoonset/download.html。

發布于2017年，有兩個子集，CartoonSet10k和CartoonSet100k，分別包含10000和100000張卡通人臉圖。每一張卡通人臉圖都有16個組件，其中12個面部屬性和4個顏色屬性。

其中顏色屬性來自于一個離散的RGB集合，每一個屬性的種類可以低至3種，高達11種。比如chin的長度就包括short、medium、long一共三種，而發型就有111種。所有屬性及其集合大小統計如下：

藝術風格總共包括：3種下巴長度(chin_length)、3種眼睛角度(eye_angle)、2種睫毛可見與否屬性(eye_lashes)、2種眼瞼樣式(eye_lid)、14種眉毛形狀(eyebrow_shape)、2種眉毛寬度(eyebrow_weight)、7種臉型(face_shape)、15種面部發型(facial_hair，包括光頭)、12種眼鏡(glasses，包括無眼鏡)、111種頭部發型(head hair)。

顏色風格包括：5種眼虹膜顏色(eye_color)、11種面部皮膚顏色(face_color)、7種眼鏡顏色(glasses_color)、10種頭發顏色(hair_color)。

比例風格包括：3種眼睛眉毛距離(eye_eyebrow_distance)、3種眼縫大小(eye_slant)、4種眉毛厚度(eyebrow_thickness)、3種眉毛寬度(eyebrow_width)。

所有的元素及其變種都是由同一個藝術家Shiraz Fuman繪制而成，最終得到約250個卡通藝術元素，可以組合成約108種樣式。所有的藝術元素都是采用順序分層的方式方便進行渲染，比如臉型需要依賴于眼睛和眼睛，而發型比較復雜有兩個元素，一個在人臉上一層，一個在人臉下一層，總共有8層，頭發背景、人臉、頭發前景、眼睛、眼睫毛、嘴巴、面部頭發、眼鏡。

從屬性到藝術的映射也是有藝術家確定的，這樣任意一個屬性的選擇都能獲得視覺好看的效果，而不至于對不齊，有時候需要一些交互，比如不同臉型的“短胡子”屬性的創作。

(4) self2anime

數據集地址：https://github.com/taki0112/UGATIT。

發布于2019年，這是一個漫畫人臉數據集，首先使用漫畫人臉檢測算法對Anime-Planet1上的圖片進行了檢測，最后留下了女性的人臉圖共3500張，其中3400張作為訓練，100張作為測試。

(5)?Danbooru2019

數據集地址：https://www.gwern.net/Danbooru2019#danbooru2018 。

Danbooru2019是一個動漫人物數據集，擁有超過300百萬的圖片。有研究者從中選擇了一些圖片組建了動漫頭像數據集，共140000張，圖像大小為512*512，如下，地址為http://www.seeprettyface.com/mydataset_page3.html#anime。

其他還有一些比較小和老的數據集，這里就不做過多的介紹，感興趣的讀者可以自行去了解更多。

6. 如何學習以上算法

在上面我們介紹了用于人臉風格化的核心技術，涉及人臉圖像的各種算法，風格遷移算法，生成對抗網絡，如果想要長期進行學習，可以參考有三AI秋季劃的人臉算組，圖像質量組，GAN組，可分別學習相關內容。

詳情可以閱讀下文介紹：

【通知】如何讓你的2020年秋招CV項目經歷更加硬核，可深入學習有三秋季劃4大領域32個方向

如果你對以上人臉數據集感興趣，在有三AI知識星球的數據集板塊中，我們提供了以上數據集的詳細解讀以及下載方式，有需要的同學可以加入。

而人臉風格化相關的算法，也有諸多介紹。

總結

本次我們給大家介紹了人臉風格化相關核心技術和數據集，人臉圖像屬于最早被研究的一類圖像，也是計算機視覺領域中應用最廣泛的一類圖像，其中需要使用到幾乎所有計算機視覺領域的算法，可以說掌握好人臉領域的各種算法，基本就玩轉了計算機視覺領域。

如何學習人臉圖像算法

如果你想系統性地學習各類人臉算法并完成相關實戰，并需要一個可以長期交流學習，永久有效的平臺，可以考慮參加有三AI秋季劃-人臉圖像算法組，完整的介紹上面有鏈接，總體的學習路線如下：

轉載文章請后臺聯系

侵權必究

往期精選

• 【雜談】2020年如何長期、系統，全面地學習深度學習和計算機視覺，這是有三AI的完整計劃

• 【總結】有三AI秋季劃圖像質量組3月直播講了哪些內容，為什么解決好底層圖像處理問題那么重要

• 【總結】有三AI秋季劃人臉算法組3月直播講了哪些內容，計算機視覺你不可能繞開人臉圖像

• 【總結】有三AI秋季劃模型優化組3月直播講了哪些內容，為什么每一個從事深度學習的同學都應該掌握模型優化的內容

總結

以上是生活随笔為你收集整理的【技术综述】人脸风格化核心技术与数据集总结的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。