1 模型簡介

Selfie2anime模型：動(dòng)漫風(fēng)格，訓(xùn)練集主要針對人物頭像；對應(yīng)論文為：U-gat-it: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation
Hayao模型：日本漫畫；
Shinkai模型：日本漫畫；
CartoonGan模型：tensorflow hub 開源模型：https://systemerrorwang.github.io/White-box-Cartoonization/，對應(yīng)論文為：Learning to cartoonize using white-box cartoon representations

2 模型輸入

Selfie2anime模型：$256?256$，原始模型為4.7G，google實(shí)現(xiàn)版本為10.2M；
Hayao模型：$256?256$；
Shinkai模型：$384?384$；
CartoonGan模型：$512?512$，經(jīng)過量化（數(shù)據(jù)格式 float32-> unit8）后部署的模型，其模型文件大小為 2M，預(yù)測時(shí)間也最短。

3 測試結(jié)果

3.1 人物頭像

3.2 其他圖像

3.3 分析

$256?256$ 兩種模型之間的相差并不大，差異表現(xiàn)在生成圖片的整體顏色不同；$256?256$ 與 $384?384$ 的模型之間整體差異不大，具體差異體現(xiàn)在細(xì)節(jié)上，例如人臉面部器官“眼睛”、“鼻子”上，在風(fēng)景圖片中相差并不大。

由于輸入圖片的長寬通常在 800 像素值以上，而網(wǎng)絡(luò)的輸入是固定的，因此在輸入網(wǎng)絡(luò)時(shí)需要將圖片進(jìn)行壓縮、將圖片縮小到目的尺寸（256 或者 384）， 因此在縮小的過程中，難免會(huì)損失原圖的細(xì)節(jié)信息，因此輸入為 $384?384$ 的模型效果理所當(dāng)然會(huì)好很多。但 $384?384$ 的圖像同時(shí)也存在一定的弊端，即內(nèi)存消耗較大。

3.4 內(nèi)存分析

由于Shinkai 模型公布了網(wǎng)絡(luò)結(jié)構(gòu)，我們以這個(gè)模型為例來分析內(nèi)存占用情況。Shinkai 模型中間最大的卷積層的圖片通道數(shù)為 512，像素點(diǎn)的值為 float 類型，占用 4 個(gè)字節(jié)，因此這個(gè)卷積層占用的內(nèi)存為：$384?384?512?4=301,989,888$ 字節(jié)，約為 302M 的內(nèi)存，而 $256?256$ 的圖片只需要申請 134M 的內(nèi)存，$600?600$ 的圖片需要 737M 的內(nèi)存，且在模型中包含多個(gè)卷積層，因此圖片尺寸的增長會(huì)消耗更加大量的內(nèi)存。

4 進(jìn)一步說明

• 內(nèi)存分析后可知，如果模型已經(jīng)固定，增加輸入圖片的大小，就會(huì)增加內(nèi)存空間。
• 現(xiàn)有的模型對接近“正方形”的圖片處理效果最佳，長寬差距過大的圖片則會(huì)影響生成圖片的質(zhì)量，因此在網(wǎng)絡(luò)輸入時(shí)，可以考慮通過設(shè)計(jì)一個(gè)裁剪框，讓用戶裁剪圖片長寬為 1:1 的圖像，最后再縮小到 $384?384$ 的大小，輸入網(wǎng)絡(luò)得到結(jié)果后再放大。
• 當(dāng)不得不對“長方形”的圖片進(jìn)行處理時(shí)，可以考慮將長方形進(jìn)行切割，切割后分別進(jìn)行風(fēng)格遷移，將得到的結(jié)果進(jìn)行拼接，返回原圖像的遷移結(jié)果。
• 模型的內(nèi)存與網(wǎng)絡(luò)的卷積層結(jié)構(gòu)參數(shù)有關(guān)，因此也可以從模型設(shè)計(jì)上進(jìn)行改進(jìn)，設(shè)計(jì)更小的網(wǎng)絡(luò)。缺點(diǎn)：數(shù)據(jù)集較大，訓(xùn)練時(shí)間較長，對訓(xùn)練設(shè)備要求較高，且訓(xùn)練出的模型能減少內(nèi)存占用量，卻不能保證風(fēng)格遷移的“效果” 會(huì)比現(xiàn)有的模型更好。

總結(jié)

以上是生活随笔為你收集整理的风格迁移模型测试效果的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。