該筆記介紹的是《卷積神經網絡》系列第四周：特殊應用（2)神經風格轉換

主要內容有：

1.神經風格轉換

2.卷積網絡隱藏單元可視化顯示

3.神經風格轉換代價函數

4.內容代價函數

5.風格代價函數

*6.數據從一維到三維的推廣

?

?神經風格轉換

把C(content)內容圖片轉化為風格類似S(style)風格圖片的G(generated)生成圖片。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

卷積網絡隱藏單元可視化顯示

通過觀察可視化顯示的不同隱藏單元的輸出結果真正了解卷積網絡中深度較大的層真正在做些什么。

可視化圖塊輸出：

從第一層隱藏層第一個隱藏單元開始：尋找當前層的最大化激活了隱藏單元激活項的9個圖片塊。并循環該層所有單元。對之后的隱藏層進行相同的操作，并輸出該隱藏層的圖片塊。

?

單個隱藏單元輸出：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

在視頻中對9個隱藏單元循環輸出：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

?

對不同隱藏層的輸出：

我的理解：
在淺層隱藏單元通常會尋找一些簡單的特征（圖片塊較小）進行學習，但是到了深層會檢測以簡單的事物（淺層）為基礎更會復雜的事物（圖片塊較大）。

文中的論文地址：Visualizing and Understanding Convolutional Networks

神經風格轉換代價函數

定義關于G的代價函數J用于評估生成圖片G的好壞。

? ? ? ? ? ? ? ? ? ? ? ? ?

超參數α，β用于確定內容代價函數和風格代價函數的權重

生成圖像G:

　　　　a.隨機初始化G,生成如下圖的白噪聲圖。

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

　　　　b.使用定義的代價函數J(G),使用梯度下降的方法使其最小化。

? ? ? ? ? ? ? ? ? ? ? ? ? ??

逐步處理像素，慢慢的到一個有著風格圖片風格的生成圖片

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

論文地址：A Neural Algorithm of Artistic Style

?

內容代價函數

內容函數為神經風格轉換代價函數的：

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

定義內容代價函數：

　　　　a.使用隱藏層l來計算內容代價,生成圖像G。（l不會太深也不會太淺，在中間層）

　　　　b.使用一個預訓練的卷積模型

　　　　c.讓a^[l](G)(圖片G)與a^[l](C)(圖片C)的l層的激活函數值

　　　　d.如果內容激活函數相似，這兩個圖片的內容也相似

? ? ? ? ? ? ? ? ? ? ? ? ? ?

使用該激活函數找到圖片G?

?風格代價函數

風格函數為神經風格轉換代價函數的

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?

為風格圖片定義一個深度測量：

? ? ? ? ? ? ? ? ? ? ?a.使l層的激活函數去定義風格

　　　　　　b.把圖片風格定義為l層各個通道之間的激活項的相關系數

相關系數：

相關系數為你提供了一種去測量這些不同特征的方法，它的含義是測量這些特性在圖片的各個位置同時或者不同或者不同時出現的頻率。

使用相關系數來描述通道的風格，是測量生成圖片的第一個通道是否與第二個通道相關，及特性是否同時出現或者不同時出現的頻率，這樣就能測量生成圖片與輸入風格圖片的相似程度。

風格矩陣：

計算不同通道之間的相關系數。

在l層風格圖片的風格矩陣：

計算k通道和k'通道之間的相關系數（k=1,2,3,.....,n）

(i,j,k)為l層激活值的(H,W,C)

在l層生成圖片的風格矩陣：

合并對于單層l的風格函數：

?

*對每層都使用風格函數相加效果會更好：

?

轉載于:https://www.cnblogs.com/-1024/p/8848163.html

總結

以上是生活随笔為你收集整理的吴恩达【深度学习工程师】 04.卷积神经网络 第四周特殊应用（2)神经风格转换...的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。