（轉自AI 科技）本文是北京大學門怡芳基于其 CVPR spotlight 論文為 AI 科技評論提供的獨家稿件。

原文鏈接：https://www.sohu.com/a/260324342_651893

論文信息：A Common Framework for Interactive Texture Transfer

（http://www.icst.pku.edu.cn/F/zLian/papers/CVPR18-Men.pdf）

引言

紋理遷移技術作為計算機視覺和圖形學領域的一個研究熱點，能夠將樣圖中的風格紋理自動遷移到目標圖像中，本文提出了一種用戶引導的紋理遷移技術，通過輸入素材語義圖、素材風格圖及目標語義圖，能夠自動生成具有目標語義和素材風格的目標風格圖，該問題描述如圖 1 所示。

圖 1：問題描述。輸入素材語義圖 S_sem、素材風格圖 S_sty 及目標語義圖 T_sem，能夠自動生成具有目標語義和素材風格的目標風格圖 T_sty。

該技術有著廣泛的應用場景，例如將一副簡單的用戶涂鴉變成藝術畫作、編輯裝飾性紋理的生成路徑和形狀、生成具有已知風格紋理的特效文字、控制特效字中特效的空間分布、對圖像中兩個物體進行紋理交換等，該技術可以通過語義引導的方式將素材樣圖中的紋理圖案遷移到目標圖像中。

由于任務的多樣性和語義引導的簡單性，利用一些現有的技術很難達到我們的目標。一些方法在特定的場景上能達到很好的效果，如裝飾筆刷 [1] 和文本特效遷移 [2]，但這些方法只適用于單一的指定場景，不適用于我們目標中的多任務情景。基于圖像類比的方法 [3,4]，由于缺少對內部結構信息的分布引導，很難對內部具有復雜結構信息的紋理進行遷移并保留其細節性高頻紋理。神經涂鴉?[5]利用卷積神經網絡進行風格遷移，然而該方法適用范圍小，僅適合于抽象的藝術畫作，而不能很好地處理真實拍攝的圖像或寫實主義圖片，使得真實圖像遷移后的結果圖包含大量的底層噪聲，并且這種方法類似于一個黑盒操作，無法控制生成過程，使得生成結果有更多不可預測性，難以控制其細節合成，從而難以生成高質量的圖片。

本文提出一種用戶引導的紋理遷移通用框架以適用于多任務場景。本方法基于非參數化的紋理合成技術，從素材圖取樣完成目標圖像的合成，采用了多個引導項動態引導合成過程。本方法通過顯著性結構紋理引導的方式解決了目標風格圖中結構信息丟失的問題；通過語義引導項為用戶提供了控制紋理形態、位置的接口，提供用戶交互性；通過紋理相干性引導項保證與素材風格的一致性。使其能夠生成高質量的紋理遷移圖片，滿足多場景任務需求。

方法

本文通過輸入包含素材語義圖、素材風格圖和目標語義圖的一組樣圖，通過顯著結構信息提取、結構信息傳播、引導性的紋理合成等步驟，使得紋理遷移后仍能保持內部結構信息、底層細節信息，由此自動生成與目標語義圖內容一致且具備素材風格的目標風格圖，其總體處理流程如圖 2 所示。

圖 2：方法的總體流程。主要包含顯著結構信息提取、結構信息傳播和引導性的紋理合成三個步驟。

1. 顯著結構信息提取。通過顯著性檢測對圖像中各個像素點的顯著度進行計算，將滿足結構信息定義的像素點標注為顯著性點，得到素材風格圖中的顯著性結構信息，可視化過程如圖 3 所示。

圖 3：顯著結構信息提取過程可視化。(c)(d) 分別為 (a)(b) 進行顯著性檢測結果，將其差值作為顯著結構信息，左右為兩個樣例。

2. 創建目標結構圖：依據素材語義圖和目標語義圖的形狀相似性，找到一個平面變換關系，將素材風格圖中的具備顯著結構信息的像素點映射到新圖像中，該圖像定義為目標結構圖，可視化過程如圖 4 所示。

圖 4：首先根據 CPD 算法對素材語義圖和目標語義圖進行輪廓關鍵點匹配，之后依據匹配結果，利用薄板樣條插值算法將素材風格圖中的具備顯著結構信息的像素點映射到新圖像中，該圖像定義為目標結構圖。

3. 建立目標函數并進行紋理合成優化，目標函數由不同權重的語義引導項、結構引導項和紋理相干項構成。語義引導項用于施加用戶對風格紋理形態、位置的控制；結構引導項用于約束目標結構圖中圖像塊與實時合成的目標風格圖中圖像塊的相似性；紋理相干項控制目標風格圖中生成的紋理與素材風格圖中紋理風格相一致，使得風格紋理具有連續性。且語義引導項的權重隨著迭代次數增多逐漸下降，變化范圍從常數 β 下降到 0，以權重變化方式進行動態引導。將紋理合成過程看作一個最優化問題，以多尺度方式在每個尺度上利用最大期望值算法不斷迭代優化目標函數，交替執行最近鄰搜索和目標風格圖重建兩個步驟，直至收斂，即完成圖像紋理遷移，得到具備素材風格的目標風格圖。

實驗結果

本文主要通過不同任務場景下的生成效果展示了方法的有效性，僅需要單張樣例，便能夠根據用戶需求生成高質量的紋理遷移圖片，在滿足目標形態的同時，保證了紋理的連續性和一致性。以下為不同場景下圖像的生成結果：

（1）用戶涂鴉變藝術畫作

（2）編輯裝飾性紋理的生成路徑和形狀

（3）特效字生成（控制特效空間分布）

（4）紋理交換

本文在不同任務場景下和其他 state-of-the-arts 方法進行了對比實驗，表明了文本方法在圖像生成質量及風格遷移效果上的優越性。

參考文獻

[1] J. Lu, C. Barnes, C.Wan, P. Asente, R. Mech, and A. Finkelstein. Decobrush: drawing structured decorative patterns by example. ACM Transactions on Graphics (TOG), 33(4):90, 2014.

[2] S. Yang, J. Liu, Z. Lian, and Z. Guo. Awesome typography: Statistics-based text effects transfer[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2017: 7464-7473.

[3] A. Hertzmann, C. E. Jacobs, N. Oliver, B. Curless, and D. H. Salesin. Image analogies. In Proceedings of the 28th annual conference on Computer graphics and interactive techniques, pages 327–340. ACM, 2001.

[4] P. B′enard, F. Cole, M. Kass, I. Mordatch, J. Hegarty, M. S. Senn, K. Fleischer, D. Pesare, and K. Breeden. Stylizing animation by example. ACM Transactions on Graphics (TOG), 32(4):119, 2013.

[5] A. J. Champandard. Semantic style transfer and turning two-bit doodles into fine artworks. arXiv preprint arXiv: 1603.01768, 2016.

總結

以上是生活随笔為你收集整理的A Common Framework for Interactive Texture Transfer（CVPR 2018）学习笔记的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。