python深度神经网络量化_「深度神经网络」（deep neural network）具体是怎样工作的？...
本文將從深度神經(jīng)網(wǎng)絡(luò)本質(zhì)的視角解釋其黑盒特性。這篇解讀來(lái)源于CVPR2017一篇Oral的文章，作者希望通過(guò)尋找到網(wǎng)絡(luò)中間層與一些語(yǔ)義概念的對(duì)應(yīng)關(guān)系，從而實(shí)現(xiàn)對(duì)于CNN網(wǎng)絡(luò)潛在的表達(dá)能力的定量化分析，歸納發(fā)現(xiàn)深度神經(jīng)網(wǎng)絡(luò)的本質(zhì)，從而進(jìn)一步解釋其黑盒特性。
作者首先建立了一個(gè)完善的測(cè)試數(shù)據(jù)集，叫做Broden(Broadly and Densely Labeled Dataset)，每張圖片都在場(chǎng)景、物體、材質(zhì)、紋理、顏色等層面有pixel-wise的標(biāo)定。接下來(lái)，將該數(shù)據(jù)集中的每一張圖喂給需要分析的網(wǎng)絡(luò)，拿到每個(gè)feature map 上的響應(yīng)結(jié)果，進(jìn)一步分析該層feature map對(duì)應(yīng)的語(yǔ)義關(guān)系，歸納結(jié)果。整體流程如下圖a所示。
a. 整體流程
b. Broden圖片樣例
【Unit與Concept的關(guān)系】
作者希望將每個(gè)卷積核單元(unit)與一些語(yǔ)義上的概念(concept)對(duì)應(yīng)起來(lái)，從而使用這些對(duì)應(yīng)關(guān)系以及不同concept對(duì)應(yīng)的unit的分布情況來(lái)表征該網(wǎng)絡(luò)的表達(dá)能力。
通過(guò)如下公式，作者首先定義某一個(gè)單元的與語(yǔ)義上的概念的相關(guān)程度：
也即，通過(guò)計(jì)算該層feature map二值化激活區(qū)域與不同語(yǔ)義Ground Truth結(jié)果的交并比來(lái)確定該層所應(yīng)該屬于的語(yǔ)義結(jié)果。其中，x代表輸入圖像，c代表concept(概念)，k代表某個(gè)單元, Sk(x) 是該單元特征圖像feature map A(x)縮放回輸入大小后的結(jié)果，Mk(x) ≡ Sk(x) ≥ Tk，Mk(x)為大于某個(gè)閾值的激活區(qū)域。
AlexNet Conv5 Concept 分布
本文設(shè)定對(duì)于IoU(k,c) > 0.04，則該單元屬于某一個(gè)語(yǔ)義概念。如果某個(gè)層對(duì)應(yīng)多個(gè)語(yǔ)義概念，則取IoU最大的；只有唯一一個(gè)語(yǔ)義概念對(duì)應(yīng)的層被稱之為特定概念單元(unique concept unit)，而這些特定概念層的數(shù)量的大小與分布情況，則定量的表示了該網(wǎng)絡(luò)的可解釋性(Interpretability)。
【結(jié)果分析】
為了探究網(wǎng)絡(luò)的可解釋性(Interpretability)的是否是與units的排列分布有關(guān)，作者對(duì)于某一層的所有unit進(jìn)行random linear combination(下圖Q)，也即打亂該排布方式，而后將打亂的次序歸位(下圖Q^(-1))，觀察concept的變化情況得到結(jié)果。具體如下圖所示：
其中，rotation的大小代表了random Q的程度大小，而打亂這些units的排布并不會(huì)對(duì)于網(wǎng)絡(luò)的最終輸出產(chǎn)生影響，同時(shí)也不會(huì)改變?cè)摼W(wǎng)絡(luò)的表達(dá)能力(discriminative power)。
可以從結(jié)果中發(fā)現(xiàn)，隨著rotation的逐漸變大，unique concept unit的數(shù)量開(kāi)始急劇減少，因此CNN網(wǎng)絡(luò)的可解釋性是受到unit的排序的影響的。(寫者注，這個(gè)結(jié)論強(qiáng)依賴于公式(1)的定義，是否是恰當(dāng)?shù)膶?duì)于可解釋性的描述有待討論)
通過(guò)對(duì)于AlexNet中conv1~conv5層中各單元響應(yīng)情況的分析，我們可以歸納出: 淺層的單元更傾向于響應(yīng)簡(jiǎn)單的紋理、顏色特征，而高層的單元?jiǎng)t對(duì)于更具體的物體有響應(yīng)，例如人臉、花朵等等。
在網(wǎng)絡(luò)結(jié)構(gòu)實(shí)驗(yàn)中，作者將常見(jiàn)的網(wǎng)絡(luò)結(jié)構(gòu)在不同的數(shù)據(jù)集上進(jìn)行訓(xùn)練，從中我們可以發(fā)現(xiàn)ResNet152的表達(dá)能力最強(qiáng)，而不同的訓(xùn)練集對(duì)于同一網(wǎng)絡(luò)的表達(dá)能力也有影響，Places 365更多是場(chǎng)景分類，而且圖片數(shù)量較ImageNet更多，因此網(wǎng)絡(luò)會(huì)有更多的concept響應(yīng)單元。
訓(xùn)練過(guò)程的探究實(shí)驗(yàn)中，我們可以發(fā)現(xiàn)，網(wǎng)絡(luò)在訓(xùn)練初期更容易學(xué)習(xí)到物體的底層的特征，而到后期，逐漸學(xué)習(xí)到更為高階的一些物體特征；而在Fine-tune的實(shí)驗(yàn)中，作者也發(fā)現(xiàn)，隨著finetune的進(jìn)行，不少的層的concept對(duì)應(yīng)關(guān)系也會(huì)因?yàn)閒inetune數(shù)據(jù)集不同而發(fā)生對(duì)應(yīng)數(shù)據(jù)集的遷移轉(zhuǎn)變。
【QA問(wèn)答】
在2017年CVPR的Poster中，我們有幸遇到了本文的第二作者周博磊童鞋，并且就本文中的一些問(wèn)題與他進(jìn)行了深入地交流，Poster可以從以下地址獲取：http://netdissect.csail.mit.edu/poster.pdf
問(wèn)答的記錄如下：
如何理解文中提到的rotation實(shí)驗(yàn)
A：rotation指的是對(duì)于某個(gè)層中的units的組合進(jìn)行打亂，然后再將打亂的關(guān)系還原，從本質(zhì)上來(lái)說(shuō)，這樣一種打亂不會(huì)導(dǎo)致最后的結(jié)果發(fā)生改變，然而當(dāng)隨機(jī)打亂的程度加大(rotation變大)則會(huì)發(fā)生sematic的concepts急劇下降(AlexNet conv5 從72下降為18)，因此，unit之間的位置排序是有關(guān)系的，或者說(shuō)sematic不在feature space， 而是在unit維度的，也即單個(gè)神經(jīng)元是有意義的，不是像以前說(shuō)的整個(gè)conv是有語(yǔ)義的。
同一個(gè)網(wǎng)絡(luò)，做不同的任務(wù)，那么網(wǎng)絡(luò)的interpretability是否有不同
A：首先從論文的試驗(yàn)中可以看到不同的數(shù)據(jù)集會(huì)有bias，因此其中的concept就會(huì)有不同，例如ImageNet中非常多種類的Dogs，那么concept會(huì)有多數(shù)偏向于dogs類；在同樣的數(shù)據(jù)集上訓(xùn)練，從理論上來(lái)說(shuō)，如果dominant保持一樣，則大部分應(yīng)該是一致的。
如何保證結(jié)果的正確性？
A：對(duì)于超出測(cè)試集的類別，本文的方法確實(shí)不能夠進(jìn)行量化分析的，但目前來(lái)說(shuō)這樣一個(gè)數(shù)據(jù)集是能找到的最大的了，我們這邊也會(huì)通過(guò)一些方式去擴(kuò)充這樣一個(gè)數(shù)據(jù)集。
如何確認(rèn)哪個(gè)層更重要，是否有考慮過(guò)weights，因?yàn)閣eights同樣會(huì)影響網(wǎng)絡(luò)的后續(xù)輸出？
A：可以通過(guò)與concept的IOU的大小來(lái)確定層的重要性，IOU越大的話這個(gè)層作為某個(gè)concept的概率也越大，那么這個(gè)層更加重要；對(duì)于weights方面，作者表示目前沒(méi)有考慮。
如何比較不同網(wǎng)絡(luò)之間的優(yōu)劣
A: 根據(jù)interpretability可以去推測(cè)某個(gè)網(wǎng)絡(luò)的能力大小，本文認(rèn)為，interpretability越大的話網(wǎng)絡(luò)的表達(dá)能力越強(qiáng)，性能也越強(qiáng)
成就下一個(gè)偉大 | 自動(dòng)駕駛公司Momenta校園招聘正式啟動(dòng)?mp.weixin.qq.com
------------------------------------------------ 知乎機(jī)構(gòu)號(hào)：Momenta，打造自動(dòng)駕駛大腦。 基于深度學(xué)習(xí)的環(huán)境感知、高精度地圖、駕駛決策技術(shù)，讓無(wú)人駕駛成為可能。Momenta?www.zhihu.com
知乎專欄：Paper Reading，集聚自動(dòng)駕駛知名大咖的前沿知識(shí)分享平臺(tái)，歡迎申請(qǐng)加入或直接投稿。Paper Reading?zhuanlan.zhihu.com
總結(jié)
以上是生活随笔為你收集整理的python深度神经网络量化_「深度神经网络」（deep neural network）具体是怎样工作的？...的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： centos 释放swap_centos
- 下一篇： websocket python爬虫_p