??? 這篇博客對應的是Andrew.Ng的那篇文章：An Analysis o f Single-Layer Networks in Unsupervised Feature Learning，文章的主要目的是討論receptive field size，number of hidden nodes， step-stride以及whitening在對卷積網絡模型的影響。同時，單層網絡中，作者用sparse auto-coding，RBM, k-means和GMM四種模型提取特征，最后得到的結果是 k-means 的結果是最好的，文章提供了對應的代碼利用k-means在單層網絡中提取特征分類。試驗中用到的數據庫是CIFAR。可以在這個網站下載http://www.cs.toronto.edu/~kriz/文章的代碼可以去NG的主頁下載：http://ai.stanford.edu/~ang/papers.php。

??? 由于文章只是單純的以實驗的形式分析receptive field size，number of hidden nodes， step-stride以及whitening對網絡的影響，并無數學分析過程，涉及到k-means的知識可以去看我前面的博文http://www.cnblogs.com/txg198955/p/4072859.html，如果我們用k-means得到了聚類中心，那么對于給定的一個樣本我們對其有兩種特征表示，即文中所講的：

方法一：1-of-k（這種表示是一個向量，距離最近的那一類對應的值為1，其余為0）

???????????????????????????????????????????????????????????????

方法二：給定一個樣本，先求出這個樣本到每一類的平均距離，然后用這個平均距離減去樣本到每一類的距離得到A,若A<=0，則取0，否則取A。代碼中用到的就是這種方法

???????????????????????????????????????????????????????????????

?

??? 好了，知道了這些，就可以對這幾個影響因素進行分析了。文章給出的分析結果如下：

??? effect of? Number of whithening：對于sparse auto-coding和RBM，whithening的影響不是很大，在選取100個特征的情況下，效果還是很明顯，但是選取較多的特征后，效果就不明顯了。但是對于k-means，whithening的影響就非常明顯了，這可能是k-means不具備處理特征之間的相關性的原因。具體效果如下圖所示：

??????????????????????????????

???? effect of? Number of features： 作者用k-means分別選取100,200,400,800,1200,1600個特征進行測試，得到的結論是特征越多效果越好，1600個特征點時，正確率為79.6%，4000個的時候為97.21%。所以理論上特征越多效果越好，不過特征越多計算的開銷就越大，這個自己把握就是了。

???? effect of stride: 文中指出，stride=1的時候效果最好，隨著stride不斷增大，效果會越來越差。文中對此也有說明，stride越小則更多的samples會歸到pooling中，特征的重復就更多

理論上，特征重復越多效果就越好。

??????????????????????????????????????????????????? ????????

??? effect of receptive field size：文中指出如果“receptive field”太大，則包含的特征就會有冗余。比如一個“receptive field”會包含多個nonlinear feature-edges。如果“receptive field”太小，則pooling處理的樣本會增多，這樣stride也必須小。

??? 下面是我對代碼解讀的一個分析，畫成圖幫助大家理解：

????????????????????????????????????????????????????

轉載于:https://www.cnblogs.com/txg198955/p/4108831.html

總結

以上是生活随笔為你收集整理的非监督学习的单层网络分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。