點擊上方“機器學習與生成對抗網絡”，關注星標

獲取有趣、好玩的前沿干貨！

蕭簫 發自 凹非寺 量子位 報道 | 公眾號?QbitAI

看過的動漫太多，以至于認角色時有點臉盲？

試試愛奇藝推出的這個卡通人臉識別基準數據集iCartoonFace，用它訓練AI幫你找動漫素材，效率分分鐘翻倍。

對于臉型相近、但角色不同的二次元人物，能準確識別出來（臉盲福音）：

如果人物視角出現變化，也能準確識別：

不僅如此，在人臉被大面積遮擋時，也能準確地識別出來：

至于陰影和光照也不在話下，哪怕站在樹蔭里，也能被AI“偵測”：

效果完全不輸現有的真實人臉識別。

那么，這樣的技術是怎么做出來的呢？

結合真人數據，訓練卡通人臉識別

團隊提出了一種卡通和真人的多人物訓練框架，主要包括分類損失函數、未知身份拒絕損失函數和域遷移損失函數三部分，如下圖所示。

其中，分類損失函數主要用來對卡通臉和真人臉進行分類。

而未知身份拒絕損失函數，則是為了在不同域之間進行無監督正則化投影。

至于域遷移損失函數，目的是降低卡通和真人域之間的差異性，對他們的相關性進行約束。

針對這個框架，研究者們探討了三個問題：哪種算法最好？人臉識別是否有助于卡通識別？上下文信息對卡通識別是否有用？

從實驗結果來看，ArcFace+FL的效果最佳，所以此次團隊選用了這個算法。

至于后兩個問題的答案，也是肯定的。

從下圖的藍線來看，加上真人人臉識別的信息后，對于卡通檢測的識別同樣有幫助。

至于上下文信息，團隊也做了實驗，下圖是算法在卡通人臉基礎上擴充不同比例下的性能識別。實驗證明，上下文信息越豐富，人臉識別的效果也會更好。

事實上，動物角色訓練出來的特征樣本，相比于人臉來說，還是有點詭異。

下圖中分別是原圖和對應的特征樣本，相比于動漫男生和女生，虹貓的特征顯得有點……不可捉摸。

不過這也說明，一個標準、大型的動漫人臉數據集是有必要的。

標注數據，只需要一步

為了減少人工標注的工作量，研究者們設計了一種半自動數據集構建框架，用于構建iCartoonFace數據集。

如下圖，這個框架可以分為三個階段：

首先，對數據進行分層收集。先獲取卡通圖片信息，包括專輯和人物名稱，再獲取卡通人物圖片，使得數據集結構非常清晰。

其次，對數據進行過濾。利用卡通人臉檢測、特征提取器和特征聚類等，對圖片數據進行噪聲過濾。

其中，特征提取器的性能會發生變化：隨著標注數據的增多，性能不斷增強。

最后，標注人員只需要做一個步驟：根據特征聚類的結果，回答兩張圖片是否是同一個人物。

目前最大的卡通人物標注數據集

事實上，目前已有大量針對真人的人臉識別的技術和算法。

然而，針對二次元人臉識別的數據集依舊少之又少，大多數數據集存在著噪音比例大、數據量小的問題。

但這樣的需求的確存在，不局限于對視頻的結構化分析，還能應用于圖片搜索、廣告識別等場景。

例如，給創作者提供智能剪輯、或者是對惡搞的諷刺漫畫、卡通風格人物進行審核辨識。

針對這個現象，愛奇藝開放了目前全球最大的手工標注卡通人物檢測數據集與識別數據集iCartoonFace，包含超過5000個卡通人物、40萬張以上的高質量實景圖片。

下圖是iCartoonFace與其他已有動漫數據集的對比，基于這個數據集設計框架，可以有效地提高卡通人物識別性能。

說不定，真能讓廣大觀眾對動漫角色“不再臉盲”。

傳送門

論文鏈接：
https://arxiv.org/pdf/1907.13394.pdf

數據集（在競賽數據集一欄）：
https://iqiyi.cn/icartoonface

END

猜您喜歡：

等你著陸！【GAN生成對抗網絡】知識星球！??

CVPR 2021 | GAN的說話人驅動、3D人臉論文匯總

CVPR 2021 | 圖像轉換 今如何？幾篇GAN論文

【CVPR 2021】通過GAN提升人臉識別的遺留難題

CVPR 2021生成對抗網絡GAN部分論文匯總

經典GAN不得不讀：StyleGAN

最新最全20篇！基于 StyleGAN 改進或應用相關論文

超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 | 《Python進階》中文版

附下載 | 經典《Think Python》中文版

附下載 | 《Pytorch模型訓練實用教程》

附下載 | 最新2020李沐《動手學深度學習》

附下載 |?《可解釋的機器學習》中文版

附下載 |《TensorFlow 2.0 深度學習算法實戰》

附下載 | 超100篇！CVPR 2020最全GAN論文梳理匯總！

附下載 |《計算機視覺中的數學方法》分享

總結

以上是生活随笔為你收集整理的iCartoonFace：爱奇艺的动漫人脸数据集的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。