Victory組近期整理了灰度圖像著色開(kāi)源代碼，文章刊登于《中國(guó)計(jì)算機(jī)學(xué)會(huì)計(jì)算機(jī)視覺(jué)專委會(huì)簡(jiǎn)報(bào)》2019年第2期上。

灰度圖像(gray image)是每個(gè)像素只有一個(gè)采樣顏色的圖像，即單通道圖像，這類圖像通常顯示為從最暗黑色到最亮的白色的灰度，理論上這個(gè)采樣可以任何顏色的不同深淺，甚至可以是不同亮度上的不同顏色。

灰度圖像著色是將單通道的灰度圖像，通過(guò)一定的操作，使其成為三通道的彩色圖像的方法，在在影視處理、數(shù)字娛樂(lè)和動(dòng)漫制作等方面有著廣泛的應(yīng)用前景。

在灰度圖像著色領(lǐng)域，傳統(tǒng)方法信息提取率不高，著色效果不理想，但隨著人工智能的不斷發(fā)展，灰度圖像著色的效果越來(lái)越讓人滿意。目前灰度圖像著色一般模式為：首先利用神經(jīng)網(wǎng)絡(luò)的信息提取的高效性，對(duì)圖像中的各類信息及特征進(jìn)行提取，構(gòu)建并訓(xùn)練深度學(xué)習(xí)模型。訓(xùn)練網(wǎng)絡(luò)時(shí)與原圖像進(jìn)行對(duì)比，逐漸減小網(wǎng)絡(luò)輸出結(jié)果的信息、分類等各類型的損失。訓(xùn)練完成后，只需向網(wǎng)絡(luò)輸入一張灰度圖片，即可生成一張顏色飽滿、鮮明逼真的彩色圖片。下圖為灰度圖像著色示意圖。

圖1 灰度圖像著色示意圖

本文著重介紹幾個(gè)基于深度學(xué)習(xí)的灰度圖像說(shuō)色技術(shù)的開(kāi)源代碼，包括訓(xùn)練深度學(xué)習(xí)模型的常用數(shù)據(jù)集和幾個(gè)經(jīng)典的圖像著色深度神經(jīng)網(wǎng)絡(luò)的模型。

1.ImageNet數(shù)據(jù)集

介紹：ImageNet 是一個(gè)計(jì)算機(jī)視覺(jué)系統(tǒng)識(shí)別項(xiàng)目，是目前世界上圖像識(shí)別最大的數(shù)據(jù)庫(kù)。是美國(guó)斯坦福的計(jì)算機(jī)科學(xué)家，模擬人類的識(shí)別系統(tǒng)建立的。能夠從圖片識(shí)別物體。ImageNet是一個(gè)非常有前景的研究項(xiàng)目，未來(lái)用在機(jī)器人身上，就可以直接辨認(rèn)物品和人了。超過(guò)1400萬(wàn)的圖像URL被ImageNet手動(dòng)注釋，以指示圖片中的對(duì)象;在至少一百萬(wàn)個(gè)圖像中，還提供了邊界框。ImageNet包含2萬(wàn)多個(gè)類別; 一個(gè)典型的類別，如“氣球”或“草莓”，包含數(shù)百個(gè)圖像。

主頁(yè)：http://www.image-net.org/

2.Place365數(shù)據(jù)集

介紹：Places365是Places2數(shù)據(jù)庫(kù)的最新子集。 Places365有兩個(gè)版本：Places365-Standard和Places365-Challenge。Places365-Standard系列列車擁有來(lái)自365個(gè)場(chǎng)景類別的約180萬(wàn)張圖像，每張圖像最多可存儲(chǔ)5000張圖像類別。Places365-Challeng系列還有620萬(wàn)張圖片以及Places365-Standard的所有圖片(所以總共800萬(wàn)張圖片)，每張圖片最多有40,000張。

主頁(yè)：http://places2.csail.mit.edu/

3.Colorful image colorization(CNN模型)

論文：Zhang R, Isola P,Efros A A. Colorful image colorization[C]//European conference on computervision. Springer, Cham, 2016: 649-666.

工作：該方案在自動(dòng)圖像著色的圖形學(xué)領(lǐng)域取得了進(jìn)步：設(shè)計(jì)了一個(gè)合適的損失函數(shù)來(lái)處理著色問(wèn)題中的多模不確定性，維持了顏色的多樣性；介紹了一種新型的著色算法評(píng)估框架，而且這種評(píng)估框架有應(yīng)用到其他圖像合成任務(wù)的潛力；通過(guò)在百萬(wàn)數(shù)量級(jí)的彩色圖片上訓(xùn)練在這類任務(wù)上抵達(dá)了一個(gè)新的水準(zhǔn)。該方法將圖像著色任務(wù)轉(zhuǎn)化為一個(gè)自監(jiān)督表達(dá)學(xué)習(xí)的任務(wù)，并且在一些基準(zhǔn)上獲得了最好的效果。下圖為網(wǎng)絡(luò)結(jié)構(gòu)圖。

圖2 Colorful image colorization網(wǎng)絡(luò)結(jié)構(gòu)圖

代碼：http://richzhang.github.io/colorization/

4.Image Colorization with Generative Adversarial Networks(GAN模型)

論文：NazeriK, Ng E. Image Colorization with Generative Adversarial Networks[J]. arXivpreprint arXiv:1803.05400, 2018.

工作：該方法使用GAN自動(dòng)將灰度圖像著色到可接受的視覺(jué)程度的彩色圖像。將當(dāng)前方法擴(kuò)展到高分辨率圖像。網(wǎng)絡(luò)是針對(duì)公開(kāi)可用的數(shù)據(jù)集(如CIFAR-10和Places365)進(jìn)行訓(xùn)練。下圖為該網(wǎng)絡(luò)結(jié)構(gòu)圖：

圖3 網(wǎng)絡(luò)結(jié)構(gòu)圖

5.Interactive Deep Colorization(CNN模型)

論文：ZhangR, Zhu J Y, Isola P, et al. Real-time user-guided image colorization withlearned deep priors[J]. arXiv preprint arXiv:1705.02999, 2017.

工作：該方法是一種用于用戶引導(dǎo)的圖像著色的深度學(xué)習(xí)方法。系統(tǒng)將灰度圖像以及本地用戶的提示共同映射帶卷積神經(jīng)網(wǎng)絡(luò)(CNN)中去，最終輸出彩色圖像。該方法通過(guò)模擬用戶輸入訓(xùn)練一百萬(wàn)張圖像。為了引導(dǎo)用戶進(jìn)行有效的輸入選擇，系統(tǒng)根據(jù)輸入圖像和當(dāng)前用戶輸入推薦可能的顏色作為備選顏色。著色在單個(gè)前饋過(guò)程中執(zhí)行，可實(shí)現(xiàn)實(shí)時(shí)使用。下圖為該方法的網(wǎng)絡(luò)結(jié)構(gòu)圖：

圖4 Interactive DeepColorization網(wǎng)絡(luò)結(jié)構(gòu)圖

代碼：https://richzhang.github.io/ideepcolor

6.Automatic Colorization of Grayscale Images(CNN模型)

論文：IizukaS, Simo-Serra E, Ishikawa H. Let there be color!: joint end-to-end learning ofglobal and local image priors for automatic image colorization withsimultaneous classification[J]. ACM Transactions on Graphics (TOG), 2016,35(4): 110.

工作：該方法結(jié)合了全局先驗(yàn)和局部圖像特征。基于卷積神經(jīng)網(wǎng)絡(luò)，加入深層網(wǎng)絡(luò)具有融合層，允許網(wǎng)絡(luò)合并小圖像塊的局部信息和整個(gè)圖像的全局信息，以端到端的方式進(jìn)行訓(xùn)練。此外，與大多數(shù)基于CNN的現(xiàn)有方法不同，該架構(gòu)可以處理任何分辨率的圖像。利用現(xiàn)有的大型場(chǎng)景分類數(shù)據(jù)庫(kù)來(lái)訓(xùn)練模型，利用數(shù)據(jù)集的類標(biāo)簽來(lái)更有效地和區(qū)別地學(xué)習(xí)局部信息和全局信息。下圖為模型示意圖：

圖5 Automatic Colorization of Grayscale Images模型示意圖

代碼：https://github.com/williamFalcon/pix2pix-keras

7.Deep Exemplar-basedColorization(CNN模型)

論文：He M, Chen D, Liao J, et al.Deep exemplar-based colorization[J]. ACM Transactions on Graphics (TOG), 2018,37(4): 47.

工作：該方法是一種基于樣本的局部著色的深度學(xué)習(xí)方法。該方法使用的端到端著色網(wǎng)絡(luò)不是像傳統(tǒng)的基于示例的方法那樣使用手工制作的規(guī)則，而是學(xué)習(xí)如何從大規(guī)模數(shù)據(jù)中選擇傳播方式和預(yù)測(cè)顏色。即使在使用與輸入灰度圖像無(wú)關(guān)的參考圖像時(shí)，該方法也可以很好地執(zhí)行并且很好地推廣。該網(wǎng)絡(luò)允許用戶通過(guò)簡(jiǎn)單地提供不同的參考來(lái)實(shí)現(xiàn)可定制的結(jié)果，只需選擇頂部參考建議，就可以完全自動(dòng)執(zhí)行著色。

代碼：https://github.com/msracver/Deep-Exemplar-based-Colorization

于浩洋

北京電子科技學(xué)院在讀研究生，研究方向?yàn)橥瑧B(tài)加密，圖像生成。

Email：

pec7@163.com

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎(jiǎng)勵(lì)來(lái)咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎(jiǎng)

總結(jié)

以上是生活随笔為你收集整理的图像识别开源代码_灰度图像着色开源代码的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。