機器之心報道

機器之心編輯部

電影《超人總動員》中的巴小飛和《飛屋環游記》中的小羅都是大家熟悉且喜歡的角色。但你有沒有想過，這些動漫角色的「真人」版會是什么樣子……這項研究將告訴你答案。

將人臉卡通化的應用我們已經見過一些了，比如此前介紹過的 Toonify Yourself !，那么能不能反過來，將卡通形象變成「真人版」呢？最近 GS&P 廣告公司技術總監 Nathan Shipley?利用AI創建了皮克斯角色的「真人」版，看起來效果還不錯。(PS：他曾經制作了「復活」藝術家達利的deepfake實例。)《超人總動員》里的「飛毛腿」巴小飛也太可愛了吧，真人版與原版非常相似。《飛屋環游記》里的小羅原來「真人版」長這樣，有點嚇人。雖然五官相似，但頭發有點非主流，看樣子是把原圖中的帽子轉換成了頭發……二代蜘蛛俠Miles及其經過轉換后的真人版。
不光如此，他還把畫作里的人物變「回」現實。比如蒙娜麗莎：墨西哥女畫家弗里達·卡羅的自畫像：

上：弗里達·卡羅的自畫像(左)與轉換后的「真人版」；下：弗里達·卡羅的照片。

這是怎么做到的呢？
Nathan表示他使用了一個叫做pixel2style2pixel的框架，在與源圖像形狀匹配的StyleGAN FFHQ潛在空間中快速找出「真人版」人臉圖像，而且pixel2style2pixel的速度很快！論文地址：

https://arxiv.org/pdf/2008.00951.pdfGitHub地址：

https://github.com/eladrich/pixel2style2pixel

pixel2style2pixel 框架

今年8月，來自Penta-AI 和以色列特拉維夫大學的Elad Richardson、Yuval Alaluf等人發表論文，提出了一個圖像到圖像轉換的通用架構——Pixel2Style2Pixel (pSp)。該架構基于一種新型編碼器網絡構建，可以直接生成一系列風格向量，然后輸入到預訓練好的StyleGAN生成器，形成可擴展的W+ 潛在空間。
該研究首先展示了編碼器可以直接將真實圖像嵌入到W+ 潛在空間，且不需要額外的優化。然后介紹了身份損失(identity loss)，它可以在輸入圖像重建中實現更高的性能。pSp是一個簡單的架構，通過利用訓練好的固定生成器網絡，可以很容易地應用于廣泛的圖像轉換任務。通過風格表示解決圖像轉換任務，這種方法帶來了不依賴局部像素到像素對應的全局方法，且該方法通過風格重采樣支持多模態合成。值得注意的是，pSp架構可以在沒有任何標注數據的情況下，將人臉圖像與正面姿態對齊，為模糊任務生成多模態結果，如基于分割圖的條件人臉生成、基于低分辨率圖像構建高分辨率圖像。

pSp可應用于基于分割圖的人臉生成、超分辨率任務、圖像修復等任務。pSp架構
pSp 架構基于預訓練 StyleGAN 生成器、W+ 潛在空間構建而成。在 StyleGAN 中，該研究展示了不同風格輸入對應于不同層次的細節，這些細節大致分為三組：粗、中、細。于是，研究人員使用特征金字塔 [27] 擴展編碼器主干網絡，生成三種層次的特征圖，它們使用簡單的中間網絡map2style來提取風格，如下圖 2 所示。

圖2：pSp架構圖示。
pSp架構首先對ResNet主干網絡應用標準特征金字塔，提取特征圖；然后，對于每一個目標風格分別訓練小型映射網絡map2style，以基于對應特征圖提取學得的風格；接著，將每一個生成向量輸入到StyleGAN中。pSp的應用場景
1. StyleGAN InversionpSp架構在預訓練StyleGAN生成器的潛在域中尋找真實圖像的潛碼。
下圖4展示了不同方法在CelebA—HQ數據集上的對比。實驗結果表明，pSp方法能夠在保留圖像身份的同時重建細節，如面部光線、發型和眼鏡等。

2. 面部轉正
由于需要非局部變換、缺乏成對的訓練數據，面部轉正是圖像轉換中比較有挑戰性的任務。該研究表明，其提出的基于風格的轉換機制能夠克服上述挑戰，即使沒有標注訓練數據也可以運行。
下圖展示了不同方法的面部轉正效果對比：

由實驗結果可以看出，當用相同的數據訓練時，pix2pixHD無法收斂到令人滿意的結果，因為它更依賴于輸入和輸出對之間的對應關系。而pSp能夠很好地處理任務，生成逼真的臉部正面圖像，與更復雜的RotateAndRender(R&R)方法效果相當。3. 條件圖像合成條件圖像合成即基于特定輸入類型生成逼真圖像。研究者在兩個條件圖像生成任務上對pSp架構進行了測試，分別是基于草圖和語義標簽圖生成高質量的人臉圖像。
對于基于草圖生成高質量人臉圖像任務，該研究對pSp、pix2pixHD、DeepFaceDrawing進行了對比，pSp實現了不錯的效果：

對于基于分割圖生成人臉圖像的任務，研究者在CelebAMask-HQ數據集(包含19個語義類別)上對pix2pixHD、SPADE、CC_FPSE和pSp進行了對比：

4. 超分辨率
研究顯示，pSp方法可以根據相應的低分辨率(LR)輸入圖像來構建高分辨率(HR)面部圖像。下圖11展示了使用該方法與以往方法的生成圖像的視覺對比效果：

此外，為了更好地顯示pSp框架的靈活性，研究者還展示了其在局部編輯、圖像修復和人臉圖像插值三種應用中的效果：

網友：圖像分辨率很高，細節需要改進

這一研究工作引起了網友的熱議。有人感嘆：「圖像分辨率實在太高了」、「做好病毒式傳播的準備吧」。

該研究有什么實際用處呢？有人暢想：「在若干年內，我們能夠以這種方式進行整部影片的轉換，那該多酷啊。一部影片看5遍，每次都有不同的風格。」

不止如此，還有人表示：「除了已知情節外，我們還可以構建一些顛覆用戶預期的原創故事情節。」

不過，轉換后的圖片有時存在一些瑕疵，比如上文提到的小羅，轉換后不僅帽子消失了，頭發變成了金黃色，耳朵也沒有了。

參考鏈接：
https://www.reddit.com/r/MachineLearning/comments/jcuch4/p_creating_real_versions_of_pixar_characters/?

?

?

從算法到應用，入門聲紋技術。

10月19日，第一講：音頻基礎與聲紋識別。谷歌資深軟件工程師、聲紋識別與語言識別團隊負責人王泉老師將介紹聲紋識別技術相關基礎知識，包括發展歷程、聽覺感知和音頻處理相關基本概念與方法、聲紋領域最核心的應用聲紋識別等。

添加機器之心小助手(syncedai5)，備注「聲紋」，進群一起看直播。

??THE END?

轉載請聯系本公眾號獲得授權

投稿或尋求報道：content@jiqizhixin.com

總結

以上是生活随笔為你收集整理的cdr怎么转换成psd转换为位图标准_动漫角色转换真人，飞屋环游记中的小罗竟酷似他……...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。