摘要：?神經(jīng)網(wǎng)絡(luò)功能強(qiáng)大，但內(nèi)部復(fù)雜且不透明，被稱為黑匣子工具。使用拓?fù)鋽?shù)據(jù)分析以緊湊且可理解的方式描述卷積神經(jīng)網(wǎng)絡(luò)的功能和學(xué)習(xí)過(guò)程。

1.簡(jiǎn)介

? ? ? ?神經(jīng)網(wǎng)絡(luò)在各種數(shù)據(jù)方面處理上已經(jīng)取得了很大的成功，包括圖像、文本、時(shí)間序列等。然而，學(xué)術(shù)界或工業(yè)界都面臨的一個(gè)問(wèn)題是，不能以任何細(xì)節(jié)來(lái)理解其工作的過(guò)程，只能通過(guò)實(shí)驗(yàn)來(lái)檢測(cè)其效果，而無(wú)法做出合理的解釋。相關(guān)問(wèn)題是對(duì)特定數(shù)據(jù)集經(jīng)常存在某種過(guò)擬合現(xiàn)象，這會(huì)導(dǎo)致對(duì)抗行為的可能性。出于這些原因，開(kāi)發(fā)用于發(fā)展對(duì)神經(jīng)網(wǎng)絡(luò)的內(nèi)部狀態(tài)的一些理解的方法是非常值得嘗試的。由于網(wǎng)絡(luò)中神經(jīng)元的數(shù)量非常龐大，這成為使得對(duì)其進(jìn)行數(shù)據(jù)分析顯得比較困難，尤其是對(duì)于無(wú)監(jiān)督數(shù)據(jù)分析。
? ? ? ?在這篇文章中，將討論如何使用拓?fù)鋽?shù)據(jù)分析來(lái)深入了解卷積神經(jīng)網(wǎng)絡(luò)（CNN）的工作過(guò)程。本文所舉示例完全來(lái)自對(duì)圖像數(shù)據(jù)集進(jìn)行訓(xùn)練的網(wǎng)絡(luò)，但我們確信拓?fù)浣？梢院苋菀椎亟忉屧S多其他領(lǐng)域卷積網(wǎng)絡(luò)的工作過(guò)程。
? ? ? ?首先，對(duì)于神經(jīng)網(wǎng)絡(luò)而言，一般是由節(jié)點(diǎn)和有向邊組成。一些節(jié)點(diǎn)被指定為輸入節(jié)點(diǎn)，其他節(jié)點(diǎn)被指定為輸出節(jié)點(diǎn)，其余節(jié)點(diǎn)被指定為內(nèi)部節(jié)點(diǎn)。輸入節(jié)點(diǎn)是數(shù)據(jù)集的特征。例如，在處理圖像時(shí)，輸入節(jié)點(diǎn)將是特定圖像格式的像素。在文本分析時(shí)，它又可能是單詞。假設(shè)給定一個(gè)數(shù)據(jù)集和一個(gè)分類問(wèn)題，比如手寫(xiě)數(shù)字MNIST數(shù)據(jù)集，試圖將每個(gè)圖像分類為數(shù)字0到9中的某一個(gè)數(shù)字。網(wǎng)絡(luò)的每個(gè)節(jié)點(diǎn)對(duì)應(yīng)于一個(gè)變量值（激活值）。因此，每個(gè)數(shù)據(jù)點(diǎn)為神經(jīng)網(wǎng)絡(luò)中的每個(gè)內(nèi)部和輸出節(jié)點(diǎn)生成值。網(wǎng)絡(luò)每個(gè)節(jié)點(diǎn)的值由分配給每個(gè)邊的權(quán)重系統(tǒng)決定。節(jié)點(diǎn)節(jié)點(diǎn)Z上的值由與之連接的節(jié)點(diǎn)A，B，C，D節(jié)點(diǎn)的激活函數(shù)來(lái)確定。

圖1 神經(jīng)網(wǎng)絡(luò)節(jié)點(diǎn)示例

? ? ? ?基于分配給四條邊的的權(quán)重值，計(jì)算最右邊節(jié)點(diǎn)Z的激活值。一種可能的函數(shù)形式就是

(wAxA+wBxB+wCxC+wDxD)(wAxA+wBxB+wCxC+wDxD)

? ? ? ?其中wA，wB，wC和wD是與邊緣AZ，BZ，CZ和DZ的權(quán)重值，xA，xB，xC和xD分別是節(jié)點(diǎn)A，B，C和D處的激活值，取值范圍通常在0和1之間，并且通常是單調(diào)的。權(quán)重的選擇是通過(guò)輸出函數(shù)來(lái)進(jìn)行優(yōu)化的，給定輸入的特定輸出函數(shù)（代價(jià)函數(shù)或損失函數(shù)），然后使用優(yōu)化過(guò)程來(lái)選擇所有權(quán)重，以便最佳地適合給定的輸出函數(shù)，對(duì)這方面感興趣的讀者可以查閱梯度下降算法和反向傳播算法相關(guān)資料。

2.理解訓(xùn)練網(wǎng)絡(luò)的權(quán)重

? ? ? ?有一類神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域取得了很好的成績(jī)，即卷積神經(jīng)網(wǎng)絡(luò)。在這種情況下，輸入節(jié)點(diǎn)被布置在對(duì)應(yīng)于像素矩陣的方形網(wǎng)格中，用于構(gòu)成圖像的數(shù)據(jù)。網(wǎng)絡(luò)模型由一系列圖層組成，且每層之間都有連接，即第i層的節(jié)點(diǎn)與位于第(i + 1)層的節(jié)點(diǎn)之間有連接。不同于一般的神經(jīng)網(wǎng)絡(luò)，典型的卷積神經(jīng)網(wǎng)絡(luò)由卷積層（convolutional layers?）、采樣層（Pooling layer）以及全連接層（fully-connected）組成，其中卷積層主要是用于提取圖像特征，采樣層用于降低特征的維度，全連接層用于最后的分類目的，隨著層與層之間的處理，特征圖會(huì)變得越來(lái)越小，從圖中也可以看見(jiàn)這種現(xiàn)象：

圖2 卷積神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)

? ? ? ?為了理解卷積神經(jīng)網(wǎng)絡(luò)的潛在行為，需要對(duì)權(quán)重矩陣進(jìn)行了解。假設(shè)一個(gè)數(shù)據(jù)集，其中每個(gè)數(shù)據(jù)點(diǎn)是與隱藏層中的神經(jīng)元相關(guān)聯(lián)的權(quán)重矩陣。從固定層的所有網(wǎng)格中收集數(shù)據(jù)，并在同一網(wǎng)絡(luò)模型對(duì)同一數(shù)據(jù)集進(jìn)行許多次的訓(xùn)練。最后，對(duì)權(quán)重矩陣進(jìn)行拓?fù)鋽?shù)據(jù)分析。
? ? ? ?通過(guò)對(duì)權(quán)重矩陣執(zhí)行TDA，我們首次了解了卷積神經(jīng)網(wǎng)絡(luò)的行為，獨(dú)立證明卷積神經(jīng)網(wǎng)絡(luò)完全地表示自然圖像中發(fā)生的潛在分布，這是如何完成的呢？
? ? ? ?首先，需要從拓?fù)浣嵌日业接杏玫慕Y(jié)構(gòu)。為了實(shí)現(xiàn)這個(gè)目標(biāo)，只考慮密度足夠高的點(diǎn)。首先看一下兩層卷積神經(jīng)網(wǎng)絡(luò)中的第一個(gè)卷積層，它產(chǎn)生圖3所示的拓?fù)淠Ｐ汀?br />

圖3 根據(jù)過(guò)濾器的密度著色的TDA Mapper模型

? ? ? ?從圖中可以看到，該模型是循環(huán)的。右側(cè)顯示的條形碼為持久性同源條形碼，它們是拓?fù)湫螤畹暮灻?#xff0c;表明數(shù)據(jù)集實(shí)際具有這種形狀，并且它不是使用Mapper構(gòu)建模型的構(gòu)建。通過(guò)用相應(yīng)權(quán)重矩陣的平均值標(biāo)記部分模型，圖像中也顯示了對(duì)形狀的解釋。此外，這個(gè)模型的有趣之處在于灰度自然圖像中統(tǒng)計(jì)3×3圖像塊的研究中發(fā)現(xiàn)的內(nèi)容與在所謂的初級(jí)視覺(jué)皮層中發(fā)現(xiàn)的內(nèi)容完全一致。?
? ? ? ?更簡(jiǎn)單地說(shuō)，拓?fù)淠Ｐ鸵赃@樣一種方式描述CNN，即可以獨(dú)立地確認(rèn)它與人類看待世界的方式相匹配，并與自然圖像的密度分析相匹配。?
? ? ? ?圖3中的分析是在MNIST數(shù)據(jù)集上進(jìn)行的，對(duì)CIFAR 10數(shù)據(jù)集上執(zhí)行的相關(guān)分析獲得下圖：

圖4 CIFAR 10數(shù)據(jù)集的額外復(fù)雜性顯示在水平線和垂直線上

? ? ? ?上圖是對(duì)第一個(gè)卷積層進(jìn)行分析，該模型在區(qū)域中間以及邊緣包含線條。觀察到這些線條塊的神經(jīng)元也存在于哺乳動(dòng)物的初級(jí)視覺(jué)皮層中，這為我們提供了與視覺(jué)相關(guān)的質(zhì)量方面的量化視角。

3.理解權(quán)重在訓(xùn)練過(guò)程中的變化

? ? ? ?從上面的發(fā)現(xiàn)可以看到，使用TDA，卷積神經(jīng)網(wǎng)絡(luò)可以模擬自然圖像中數(shù)據(jù)集的分布，因此可以將注意力轉(zhuǎn)向研究學(xué)習(xí)過(guò)程中發(fā)生的事情。圖5是通過(guò)在CIFAR10數(shù)據(jù)集上計(jì)算卷積神經(jīng)網(wǎng)絡(luò)的第一層和第二層中的拓?fù)淠Ｐ?#xff0c;然后在不同次數(shù)的學(xué)習(xí)迭代中顯示模型的第一層和第二層而獲得。

圖5 神經(jīng)網(wǎng)絡(luò)模型各個(gè)階段的拓?fù)淠Ｐ?/p>
? ? ? ?對(duì)模型進(jìn)行著色來(lái)獲取模型進(jìn)行處理的信息，顏色反映了節(jié)點(diǎn)中數(shù)據(jù)點(diǎn)的數(shù)量，因此可以將紅色部分視為實(shí)際模型，其余部分包含不常出現(xiàn)的權(quán)重矩陣。
? ? ? ?圖像中的第一行反映第一層的信息，并且觀察到，優(yōu)化算法進(jìn)行400和500次迭代后快速發(fā)現(xiàn)上述圓形模型。然而，隨著迭代的過(guò)程，圓形變?yōu)楦鼜?fù)雜，其中包括與水平和垂直補(bǔ)丁相對(duì)應(yīng)的補(bǔ)丁，1000次迭代后，模型中心變得更復(fù)雜。另一方面，對(duì)于第二層，在迭代的第一輪中可以看到，只有一個(gè)弱模式，但是在2000次迭代之后，似乎具有一個(gè)明確定義的圓形模型。我們對(duì)其進(jìn)行假設(shè)——第二層已經(jīng)“接管”了第一層，而第一層已經(jīng)轉(zhuǎn)移到捕獲更復(fù)雜的補(bǔ)丁，這是未來(lái)潛在研究的一個(gè)領(lǐng)域。這也證明了使用拓?fù)鋽?shù)據(jù)分析來(lái)監(jiān)控和提供對(duì)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的洞察力的能力。

4.更高層的權(quán)重矩陣

? ? ? ?這種方法也適用于更深的網(wǎng)絡(luò)，更深的網(wǎng)絡(luò)的組織方式類似于人類或靈長(zhǎng)類動(dòng)物視覺(jué)通路的組織。應(yīng)理解，該通路具有許多組分，包括視網(wǎng)膜，以及各種較高組分。初級(jí)視覺(jué)皮層充當(dāng)邊緣和線檢測(cè)器，并且更高的組件用來(lái)檢測(cè)更為復(fù)雜的形狀，更為抽象。下圖是對(duì)已經(jīng)訓(xùn)練好VGG 16網(wǎng)絡(luò)中各層的研究結(jié)果。這里顯示第2到第13卷積層的拓?fù)鋽?shù)據(jù)分析，給出對(duì)應(yīng)的拓?fù)淠Ｐ汀?br />

圖6 以拓?fù)鋽?shù)據(jù)分析為代表的13層神經(jīng)網(wǎng)絡(luò)

? ? ? ?注意到，第二層和第三層顯然非常類似于在MNIST數(shù)據(jù)集上訓(xùn)練的模型中獲得的圓形模型。第四層有一個(gè)圓形模型，但也包含一些背景中的一些線條。然而，在更高層次上，開(kāi)發(fā)出了非常有趣的模式，包括線條交叉和“牛眼”。
? ? ? ?從這些拓?fù)淠Ｐ涂梢园l(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)不僅模仿真實(shí)世界數(shù)據(jù)集的分布，而且還能夠模擬哺乳動(dòng)物視覺(jué)皮層的發(fā)展。
? ? ? ?雖然卷積神經(jīng)網(wǎng)絡(luò)像一個(gè)黑匣子一樣讓人難以理解，但拓?fù)鋽?shù)據(jù)分析提供了一種在宏觀尺度上理解神經(jīng)網(wǎng)絡(luò)中計(jì)算是如何被執(zhí)行的方法。雖然這項(xiàng)工作適用于圖像數(shù)據(jù)集，但使用拓?fù)鋽?shù)據(jù)分析來(lái)解釋其他領(lǐng)域神經(jīng)網(wǎng)絡(luò)的計(jì)算同樣也適用。
? ? ? ?通過(guò)將大量狀態(tài)壓縮成更小更易理解的模型，拓?fù)鋽?shù)據(jù)分析可用于理解寬范圍神經(jīng)網(wǎng)絡(luò)的行為和功能。
本文由阿里云云棲社區(qū)組織翻譯。
原文鏈接本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的使用拓扑数据分析理解卷积神经网络模型的工作过程的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。