1 模型簡介

Selfie2anime模型：動漫風格，訓練集主要針對人物頭像；對應(yīng)論文為：U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation
Hayao模型：日本漫畫；
Shinkai模型：日本漫畫；
CartoonGan模型：tensorflow hub 開源模型：https://systemerrorwang.github.io/White-box-Cartoonization/，對應(yīng)論文為：Learning to cartoonize using white-box cartoon representations

2 模型輸入

Selfie2anime模型：$256?256$，原始模型為4.7G，google實現(xiàn)版本為10.2M；
Hayao模型：$256?256$；
Shinkai模型：$384?384$；
CartoonGan模型：$512?512$，經(jīng)過量化（數(shù)據(jù)格式 float32-> unit8）后部署的模型，其模型文件大小為 2M，預測時間也最短。

3 測試結(jié)果

3.1 人物頭像

3.2 其他圖像

3.3 分析

$256?256$ 兩種模型之間的相差并不大，差異表現(xiàn)在生成圖片的整體顏色不同；$256?256$ 與 $384?384$ 的模型之間整體差異不大，具體差異體現(xiàn)在細節(jié)上，例如人臉面部器官“眼睛”、“鼻子”上，在風景圖片中相差并不大。

由于輸入圖片的長寬通常在 800 像素值以上，而網(wǎng)絡(luò)的輸入是固定的，因此在輸入網(wǎng)絡(luò)時需要將圖片進行壓縮、將圖片縮小到目的尺寸（256 或者 384）， 因此在縮小的過程中，難免會損失原圖的細節(jié)信息，因此輸入為 $384?384$ 的模型效果理所當然會好很多。但 $384?384$ 的圖像同時也存在一定的弊端，即內(nèi)存消耗較大。

3.4 內(nèi)存分析

由于Shinkai 模型公布了網(wǎng)絡(luò)結(jié)構(gòu)，我們以這個模型為例來分析內(nèi)存占用情況。Shinkai 模型中間最大的卷積層的圖片通道數(shù)為 512，像素點的值為 float 類型，占用 4 個字節(jié)，因此這個卷積層占用的內(nèi)存為：$384?384?512?4=301,989,888$ 字節(jié)，約為 302M 的內(nèi)存，而 $256?256$ 的圖片只需要申請 134M 的內(nèi)存，$600?600$ 的圖片需要 737M 的內(nèi)存，且在模型中包含多個卷積層，因此圖片尺寸的增長會消耗更加大量的內(nèi)存。

4 進一步說明

• 內(nèi)存分析后可知，如果模型已經(jīng)固定，增加輸入圖片的大小，就會增加內(nèi)存空間。
• 現(xiàn)有的模型對接近“正方形”的圖片處理效果最佳，長寬差距過大的圖片則會影響生成圖片的質(zhì)量，因此在網(wǎng)絡(luò)輸入時，可以考慮通過設(shè)計一個裁剪框，讓用戶裁剪圖片長寬為 1:1 的圖像，最后再縮小到 $384?384$ 的大小，輸入網(wǎng)絡(luò)得到結(jié)果后再放大。
• 當不得不對“長方形”的圖片進行處理時，可以考慮將長方形進行切割，切割后分別進行風格遷移，將得到的結(jié)果進行拼接，返回原圖像的遷移結(jié)果。
• 模型的內(nèi)存與網(wǎng)絡(luò)的卷積層結(jié)構(gòu)參數(shù)有關(guān)，因此也可以從模型設(shè)計上進行改進，設(shè)計更小的網(wǎng)絡(luò)。缺點：數(shù)據(jù)集較大，訓練時間較長，對訓練設(shè)備要求較高，且訓練出的模型能減少內(nèi)存占用量，卻不能保證風格遷移的“效果” 會比現(xiàn)有的模型更好。

總結(jié)

以上是生活随笔為你收集整理的风格迁移模型测试效果的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。