前言：不知道你是否被這張實驗效果圖所震撼？Yes, I do. 那么他是怎么做到的呢？本文提出了一種給灰度圖像自動上色的框架，結合了圖像的局部和全局先驗知識 (both global priors and local image features)。基于CNN，所提出的深度網絡有一個融合層，即：fusion layer，可以有效地結合從各個patch得到的局部信息和整幅圖像得到的全局信息，整個框架包括global and local priors 以及 colorization model 是端到端的進行訓練。此外，本框架可以處理任何分辨率的圖像，當然我覺得這個不算是很大的貢獻點咯。因為這個是FCN的功能。

本文的框架主要包括四個成分：一個底層的特征網絡，一個中層的特征網絡，一個全局的特征網絡，以及一個上色網絡。這些網絡的功能如下：?
首先，從圖像中提取共享的底層特征。利用這些特征，計算全局圖像特征和中層圖像特征。?
然后，底層特征和全局特征通過“fusion layer”得到融合。然后將此作為 colorization network 的輸入，然后輸出最終的 chromimance map. 注意到，不必要任何預處理和后期處理：it is all computed in a single step. 另外，作為本文方法的一個副產品，我們可以執行場景的分類這個任務。當利用固定大小圖像得到的全局特征，本文的方法融合局部和全局特征允許我們的model可以輸入任意分辨率的大小，不像大部分的CNN。

本文的貢獻點主要有：

一個無用戶干預的方法來進行 灰度圖像的上色。

一個 end-to-end network 聯合的學習圖像的全局和局部特征。

通過探索分類標簽的方法提升性能。

一個基于全局特征的類型轉移技術( a style transfer technique)。

深度評價了本文的模型，即充分的實驗以及很好的實驗效果。

---

Joint Global and Local Model

?

1. Deep Network

深度網絡就是多層鏈接起來構成的一個神經網絡。這些網絡是為了在給定一個輸入之后，預測連續的值。他們是由實現下列功能的函數構成:?
y=δ(b+W?x),?
此處涉及到很多基礎的激活函數等相關問題，在此不贅述。需要的朋友，可以參考原文，本文只從大體上做一個介紹。

2. Fusing Global and Local Features for Colorization

我們提出了一種新穎的方法將 global 和 local feature 結合起來。全局特征對于局部特征來說，相當于是一個圖像先驗來指示輸入圖像的類型。例如，如果輸入的 global feature 表明這是一幅室內的照片，那么局部特征就不會去選擇藍天的顏色或者草地的色彩給這張圖，而去選擇合適的顏色給家具涂色。這一點可以應用到許多場景中，作為借鑒，即：從全局圖像得到某種信息，利用這種信息更加準確的協助進行所要執行的任務。我們將 global image feature network 和 fully convolutional neural network 緊密連接在一起來進行圖像的上色。為了進一步的改善模型的效率，兩個網絡都共享底層特征。

2.1 Shared Low-Level Features

一個 6-layer 的 CNN 直接從輸入圖像中得到底層的特征，像圖中（a）所示。

2.2 Global Image Features

4個卷積層 加三層全連接 用于提取全局圖像的特征。

2.3 Mid-Level Features

在底層特征之后，繼續用 2層卷積層來得到 中層特征。由于此處用的是卷積層，沒有全連接，所以說是一個FCN，然后，就可以處理任意大小的輸入了，此處的輸出是輸入圖像的縮放版。特別地，middle-level features networks 的輸出是一個立方體，即：h/8 * w/8 *256，其中 h 和 w 分別是輸入圖像的寬和高，256是特征的維度，具體結構見圖（c）。

2.4 Fusing Global and Local Features

不過，此處所謂的融合，也就是將兩組特征進行串聯，只是這個公式寫的比較裝逼，從其中可以看出?[yglobal;ymidu,v]?。

2.5 Colorization Network

其實就是一個上采樣的過程，Oh，Shit，我看不下去了，感覺有點水文的意思。

3. Colorization with Classification

此處，給出了一個損失函數，即，作者將交叉熵損失函數和MSE Loss聯合起來，進行loss的計算。

4. Optimization and Learning

這個沒什么好說的，就是訓練。

5. Experiment Results

可以看到圖10，實驗失敗的樣例的對比圖，由于上色問題的模糊性，導致帳篷的顏色上色錯誤了，但是，也無可厚非，這個很難確定有些物體到底是什么顏色的。只是說，大致差不多即可，這種具有模糊性的問題，的確是挺揪心。

再來欣賞幾組作者的實驗結果貼圖：?
?
?

---

我的感受：

又到了抒發個人情感的時候了，由于時間關系，就少說兩句了，其實我覺得這個文章整體來看，網絡結構上的設計并不新穎，也就是網絡的各種組合，說不上創新性上有多大，不過其中，根據全局特征來給局部特征一些潛在的暗示，如作者覺得室外圖像與室內家具的例子，很好的說明了這個信息的有效性，以及融合的必要性。作者的實驗效果，總體上來看是很不錯的，也很充分，從整體感受上來說，給9.0分。但是網絡設計的創新性只能給5.0分。有點水文的嫌疑，算了，不說了，怕被打！阿彌陀佛！僅僅是個人感受，如果您有什么高見，請不吝賜教！謝謝！！！

總結

以上是生活随笔為你收集整理的论文笔记之：Let there be Color!: Joint End-to-end Learning of Global and Local Image Priors for Automatic的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。