這個(gè)主題我很喜歡，嘿嘿~
1. 無監(jiān)督特征學(xué)習(xí)
用稀疏自編碼器從大量無標(biāo)注數(shù)據(jù)中學(xué)習(xí)好的特征描述。
2. 數(shù)據(jù)預(yù)處理
無監(jiān)督特征學(xué)習(xí)前，要對數(shù)據(jù)進(jìn)行預(yù)處理。 如均值標(biāo)準(zhǔn)化，PCA，PCA白化，ZCA白化。但是需要記錄下訓(xùn)練時(shí)的參數(shù)，即均值和U，在后面訓(xùn)練時(shí)要使用相同的參數(shù)。
3. 無監(jiān)督特征學(xué)習(xí)的術(shù)語
自學(xué)習(xí)：不要求無標(biāo)注數(shù)據(jù)和已標(biāo)注的數(shù)據(jù)來自相同的分布。比如可以用汽車圖像提取的W，用于摩托車的特征提取。
半監(jiān)督學(xué)習(xí)：要求無標(biāo)注數(shù)據(jù)和已標(biāo)注的數(shù)據(jù)來自相同的分布。即要提取摩托車的特征，只能用摩托車的圖像學(xué)習(xí)。
4. 把學(xué)習(xí)到的特征（W*data+b)輸入到Softmax中訓(xùn)練model，就可以進(jìn)行分類啦。
5. 教程練習(xí)
（1） 讀取MINIST（手寫數(shù)字庫），包括圖片和labels，進(jìn)行如下劃分：
數(shù)字0~4的圖片作為有標(biāo)簽數(shù)據(jù)（其中一半trainData用于訓(xùn)練softmax模型，另一半testData用于測試）
數(shù)字5~9的圖片作為無標(biāo)簽數(shù)據(jù)(unlabeledData)，用于學(xué)習(xí)特征。
——自學(xué)習(xí)哦！
（2）程序結(jié)構(gòu)
第一部分：訓(xùn)練
a. 把unlabeledData輸入到稀疏自編碼器，訓(xùn)練參數(shù)W1,b1。
b. 把trainData進(jìn)行變換：W1*trainData+b1
得到提取的特征trainFeature.
c. 把trainFeature和對應(yīng)label輸入到softmax，得參數(shù)theta
現(xiàn)在稀疏自編碼器和softmax模型都有了，下面就開始測試了!
第二部分：測試
a. 把testData進(jìn)行變換：W1*testData+b1
得到提取的特征testFeature.
b. theta*testFeature，就可以進(jìn)行預(yù)測了！
##后記
對稀疏自編碼器提取特征的理解：在實(shí)驗(yàn)中能看到稀疏自編碼得到的W1可視化后是一些筆畫特征，有些地方稱W1就是提取的特征。可以認(rèn)為W1是從圖像中提取出的基本組成部分，如這里的筆畫；對于一個(gè)給定的圖像從稀疏自編碼中提取特征就是sigmoid(W1*inputData+b1)，即隱藏層的激活值——這才是給定圖像提取出的特征，然后把此特征送入分類器進(jìn)行分類。而圖像提取出的特征的每一維都可以看成是W1這些基本特征的某個(gè)線性組合運(yùn)用非線性激活函數(shù)激活后的結(jié)果。

總結(jié)

以上是生活随笔為你收集整理的深度学习笔记4：Self-Taught Learning and Unsupervised Feature Learning的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。