---

自我學習

---

Deep Learning and Unsupervised Feature Learning Tutorial Solutions

1.先訓練稀疏自編碼器提取特征，再把特征和label給softmax分類器進行訓練，最后用test數據集進行測試。
2.由于實際應用中找到大量有標注的樣本是非常困難的，所有采用先用大量無標注樣本來進行無監督訓練自編碼器，再用自編碼器來提取特征，配合有標注樣本來進行有監督訓練softmax分類器。
3.數據預處理方面：例如，如果對未標注數據集進行PCA預處理，就必須將得到的矩陣 U 保存起來，并且應用到有標注訓練集和測試集上；而不能使用有標注訓練集重新估計出一個不同的矩陣 U （也不能重新計算均值并做均值標準化），否則的話可能得到一個完全不一致的數據預處理操作，導致進入自編碼器的數據分布迥異于訓練自編碼器時的數據分布。
4.自學習(self-taught learning) 不要求未標注數據 x_u 和已標注數據 x_l 來自同樣的分布。另外一種帶限制性的方式也被稱為半監督學習，它要求 x_u和 x_l 服從同樣的分布。

---

流程圖

---

稀疏自編碼器學習圖像特征（實現自學習）—用到無標簽的樣本集
softmax回歸對樣本分類—用到有標簽的訓練樣本集

---

步驟

---

第0步：設置神經網絡的結構

該神經網絡包括三層：
輸入層的神經元個數（數字識別，則設置輸入的圖像大小）
輸出端的神經元個數（也就是類別數）
隱藏層神經元個數
另外一些關于系數編碼的參數
sparsityParam、lambda、beta
最大迭代次數：maxIter

第一步：產生無標簽樣本集和有標簽樣本集（訓練數據集和測試數據集）

1）導入數據集mnistData和mnistLabels
mnistData是一個矩陣，每一列為一個輸入樣本（也就是一個輸入的數字圖像所有像素點按列排布）
mnistLabels是一個向量，它存儲的數字表示mnistData中每一列樣本的類別
（2）將輸入的樣本集mnistData進行分組
① 首先，將mnistData分為兩組：一組為有標簽的數據集（數字0-4的樣本），另一組為無標簽的數據集（數字5-9的樣本）
（這兩組的指標集分別為labeledSet和unlabeledSet）
② 然后，再將有標簽的數據集平均分為兩組，一組作為訓練集、一組作為測試集；
（這兩組的指標集分別為trainSet和testSet）
這里的指標，指在mnistData中的列序號
③ 分別得到上述三組指標集得到相應的數據集，并得到有標簽數據集的標簽
unlabeledData：無標簽數據集，每一列為一個樣本
trainData：有標簽訓練集，每一列為一個樣本，相應的標簽存放在trainLabels中
testData：有標簽測試集，每一列為一個樣本，相應的標簽存放在testLabels中

用29404個無標注數據unlabeledData（手寫數字數據庫MNIST Dataset中數字為5-9的數據）來訓練稀疏自動編碼器，得到其權重參數opttheta。這一步的目的是提取這些數據的特征，雖然我們不知道它提取的究竟是哪些特征（當然，可以通過可視化結果看出來，可假設其提取的特征為Features），但是我們知道它提取到的特征實際上就是已訓練好的稀疏自動編碼器的隱藏層的激活值（即：第2層激活值）。注意：本節所有訓練稀疏自動編碼器的算法用的都L-BFGS算法。

第二步：訓練稀疏自編碼器

利用無標簽數據集unlabeledData訓練稀疏自編碼器
① 初始化化自編碼器的參數theta
② 調用minFunc中的最優化函數，計算得到稀疏自編碼器的參數
包括設置minFunc函數的一些參數及對minFunc函數的調用，這里要用到稀疏自編碼器的代價函數和梯度計算的函數sparseAutoencoderCost

第三步：利用稀疏自編碼器對有標簽的訓練樣本集和測試樣本集提取特征

在得到稀疏自編碼器后，可以利用它從有標簽的數據集中提取圖像特征，這里需要完成feedForwardAutoencoder.m函數
所謂圖像的特征，其實就是指該圖像在稀疏自編碼器的權值矩陣W1作用下得到的隱藏層的輸出
可以得到訓練集的特征trainFeatures和測試集的特征testFeatures
它們的每一列分別是由稀疏自編碼器提取出的特征

訓練樣本集提取特征

把15298個已標注數據trainData（手寫數字數據庫MNIST Dataset中數字為0-4的前一半數據）作為訓練數據集通過這個已訓練好的稀疏自動編碼器（即：權重參數為opttheta的稀疏自動編碼器），就可提取出跟上一步一樣的相同的特征參數，這里trainData提取的特征表達假設為trainFeatures，它其實也是隱藏層的激活值。如果還不明白，這里打一個比方：假設上一步提取的是一個通信信號A(對應unlabeledData)的特征是一階累積量，而這一步提取的就是通信信號B（對應trainData）的一階累積量，它們提取的都是同樣的特征，只是對象不同而已。同樣地，unlabeledData和trainData提取的是同樣的特征Features，只是對象不同而已。

測試樣本集提取特征

把15298個已標注數據testData（手寫數字數據庫MNIST Dataset中數字為0-4的后一半數據）作為測試數據集通過這個已訓練好的稀疏自動編碼器（即：權重參數為opttheta的稀疏自動編碼器），就可提取出跟上一步一樣的相同的特征參數，這里testData提取的特征表達假設為testFeatures，它其實也是隱藏層的激活值。

---

注意：如果上一步對unlabeledData做了預處理，一定要把其各種數據預處理參數（比如PCA中主成份U）保存起來，因為這一步的訓練數據集trainData和下一步的測試數據集testData也一定要做相同的預處理。本節練習，因為用的是手寫數字數據庫MNIST Dataset，已經經過了預處理，所以不用再預處理。
具體見：http://ufldl.stanford.edu/wiki/index.php/%E8%87%AA%E6%88%91%E5%AD%A6%E4%B9%A0

---

第四步：利用訓練樣本集訓練softmax回歸模型

利用訓練集的特征集trainFeatures及其標簽集trainLabels，訓練softmax回歸模型
注：softmaxTrain函數的輸入參數（特征維數，標簽數，懲罰項權值λ，訓練數據集的數據，訓練數據集的標簽，其他參數）

把第三步提取出來的特征trainFeatures和已標注數據trainData的標簽trainLabels作為輸入來訓練softmax分類器，得到其回歸模型softmaxModel。

第五步：對測試數據集進行分類
利用得到的softmax回歸模型對測試集進行分類

把第三步提取出來的特征testFeatures輸入訓練好的softmax回歸模型softmaxModel，從而預測出已標注數據testData的類別pred，再把pred和已標注數據testData本來的標簽testLabels對比，就可得出正確率。

綜上，Self-taught learning是利用未標注數據，用無監督學習來提取特征參數，然后用有監督學習和提取的特征參數來訓練分類器。

本次實驗主要是進行0~4這5個數字的分類，雖然進行無監督訓練用的是數字5~9的訓練樣本，這依然不會影響后面的結果。
5-9的數字進行降維的訓練，訓練出一般圖像到低維空間的表示矩陣W和B,后用W和B,將要分類的圖像0-4用低維表示.

%% CS294A/CS294W Self-taught Learning Exercise% Instructions % ------------ % % This file contains code that helps you get started on the % self-taught learning. You will need to complete code in feedForwardAutoencoder.m % You will also need to have implemented sparseAutoencoderCost.m and % softmaxCost.m from previous exercises. % %% ====================================================================== % STEP 0: Here we provide the relevant parameters values that will % allow your sparse autoencoder to get good filters; you do not need to % change the parameters below. % 該神經網絡包括三層： % 輸入層的神經元個數（數字識別，則設置輸入的圖像大小） % 輸出端的神經元個數（也就是類別數） % 隱藏層神經元個數 % 另外一些關于系數編碼的參數 % sparsityParam、lambda、beta % 最大迭代次數：maxIter% 設置神經網絡的相關參數 inputSize = 28 * 28;%樣本特征維數 numLabels = 5;%樣本類別 hiddenSize = 200;%隱藏層神經元個數 sparsityParam = 0.1; % desired average activation of the hidden units.% (This was denoted by the Greek alphabet rho, which looks like a lower-case "p",% in the lecture notes). lambda = 3e-3; % weight decay parameter beta = 3; % weight of sparsity penalty term maxIter = 400; %最大迭代步數%% ======================================================================% 第一步：產生無標簽樣本集和有標簽樣本集（訓練數據集和測試數據集） % （1）導入數據集mnistData和mnistLabels % mnistData是一個矩陣，每一列為一個輸入樣本（也就是一個輸入的數字圖像所有像素點按列排布） % mnistLabels是一個向量，它存儲的數字表示mnistData中每一列樣本的類別 % （2）將輸入的樣本集mnistData進行分組 % ① 首先，將mnistData分為兩組：一組為有標簽的數據集（數字0-4的樣本），另一組為無標簽的數據集（數字5-9的樣本） % （這兩組的指標集分別為labeledSet和unlabeledSet） % ② 然后，再將有標簽的數據集平均分為兩組，一組作為訓練集、一組作為測試集； % （這兩組的指標集分別為trainSet和testSet） % 這里的指標，指在mnistData中的列序號 % ③ 分別得到上述三組指標集得到相應的數據集，并得到有標簽數據集的標簽 % unlabeledData：無標簽數據集，每一列為一個樣本 % trainData：有標簽訓練集，每一列為一個樣本，相應的標簽存放在trainLabels中 % testData：有標簽測試集，每一列為一個樣本，相應的標簽存放在testLabels中 % STEP 1: Load data from the MNIST database % % This loads our training and test data from the MNIST database files. % We have sorted the data for you in this so that you will not have to % change it.% Load MNIST database files addpath mnist/ %MNIST數據集及其相關操作函數均在此文件夾中 mnistData = loadMNISTImages('mnist/train-images.idx3-ubyte'); mnistLabels = loadMNISTLabels('mnist/train-labels.idx1-ubyte');% Set Unlabeled Set (All Images)% 無標簽樣本集和有標簽樣本集的指標集（將整個數據集分為無標簽樣本集和有標簽樣本集） % Simulate a Labeled and Unlabeled set labeledSet = find(mnistLabels >= 0 & mnistLabels <= 4);%返回mnistLabels中元素值大于等于0且小于等于4的數字的行號 unlabeledSet = find(mnistLabels >= 5);% 訓練數據集和測試數據集的指標集（有標簽數據集再分為兩部分：訓練數據集和測試數據集） numTrain = round(numel(labeledSet)/2);%訓練樣本個數 trainSet = labeledSet(1:numTrain);%訓練樣本集 testSet = labeledSet(numTrain+1:end);%測試樣本集% 無標記樣本集的數據 unlabeledData = mnistData(:, unlabeledSet);% 訓練數據集的數據和標簽 trainData = mnistData(:, trainSet);% mnistData中大于等于0且小于等于4的數字的前一半數字作為有標簽的訓練數據 trainLabels = mnistLabels(trainSet)' + 1; % Shift Labels to the Range 1-5% 測試數據集的數據和標簽 testData = mnistData(:, testSet);% mnistData中大于等于0且小于等于4的數字的后一半數字作為有標簽的測試數據 testLabels = mnistLabels(testSet)' + 1; % Shift Labels to the Range 1-5% Output Some Statistics fprintf('# examples in unlabeled set: %d\n', size(unlabeledData, 2)); fprintf('# examples in supervised training set: %d\n\n', size(trainData, 2)); fprintf('# examples in supervised testing set: %d\n\n', size(testData, 2));%% ======================================================================% 第二步：訓練稀疏自編碼器 % 利用無標簽數據集unlabeledData訓練稀疏自編碼器 % ① 初始化化自編碼器的參數theta % ② 調用minFunc中的最優化函數，計算得到稀疏自編碼器的參數 % 包括設置minFunc函數的一些參數及對minFunc函數的調用，這里要用到稀疏自編碼器的代價函數和梯度計算的函數sparseAutoencoderCost% STEP 2: Train the sparse autoencoder % This trains the sparse autoencoder on the unlabeled training % images. % 按均勻分布隨機初始化theta參數, 初始化化自編碼器的參數theta % Randomly initialize the parameters theta = initializeParameters(hiddenSize, inputSize);%% ----------------- YOUR CODE HERE ---------------------- % Find opttheta by running the sparse autoencoder on % unlabeledTrainingImages % 利用L-BFGS算法，用無標簽數據集來訓練稀疏自動編碼器% 利用無標簽樣本集對稀疏自編碼器進行學習 %（利用優化函數，這里要用到minFunc文件夾下的優化函數和sparseAutoencoder文件夾下的sparseAutoencoderCost函數） addpath minFunc/ addpath sparseAutoencoder/ opttheta = theta; % 優化函數的一些參數設置 options.Method = 'lbfgs'; % Here, we use L-BFGS to optimize our cost% function. Generally, for minFunc to work, you% need a function pointer with two outputs: the% function value and the gradient. In our problem,% sparseAutoencoderCost.m satisfies this. options.maxIter = 400; % Maximum number of iterations of L-BFGS to run options.display = 'on'; % 調用優化函數，得到opttheta，即為稀疏自編碼器的所有權值構成的向量 [opttheta, cost] = minFunc( @(p) sparseAutoencoderCost(p, ...inputSize, hiddenSize, ...lambda, sparsityParam, ...beta, unlabeledData), ...theta, options);%% -----------------------------------------------------% Visualize weights W1 = reshape(opttheta(1:hiddenSize * inputSize), hiddenSize, inputSize); display_network(W1');%% ====================================================================== % 第三步：利用稀疏自編碼器對有標簽的訓練樣本集和測試樣本集提取特征 % 在得到稀疏自編碼器后，可以利用它從有標簽的數據集中提取圖像特征，這里需要完成feedForwardAutoencoder.m函數 % 所謂圖像的特征，其實就是指該圖像在稀疏自編碼器的權值矩陣W1作用下得到的隱藏層的輸出 % 可以得到訓練集的特征trainFeatures和測試集的特征testFeatures % 它們的每一列分別是由稀疏自編碼器提取出的特征 %% STEP 3: Extract Features from the Supervised Dataset % You need to complete the code in feedForwardAutoencoder.m so that the % following command will extract features from the data. % 利用稀疏自編碼器提取訓練樣本集中所有樣本的特征 trainFeatures = feedForwardAutoencoder(opttheta, hiddenSize, inputSize, ...trainData); % 利用稀疏自編碼器提測試練樣本集中所有樣本的特征 testFeatures = feedForwardAutoencoder(opttheta, hiddenSize, inputSize, ...testData);%% ====================================================================== % 第四步：利用訓練樣本集訓練softmax回歸模型 % 利用訓練集的特征集trainFeatures及其標簽集trainLabels，訓練softmax回歸模型 % 注：softmaxTrain函數的輸入參數（特征維數，標簽數，懲罰項權值λ，訓練數據集的數據，訓練數據集的標簽，其他參數）　 %% STEP 4: Train the softmax classifiersoftmaxModel = struct; %% ----------------- YOUR CODE HERE ---------------------- % Use softmaxTrain.m from the previous exercise to train a multi-class % classifier. % 利用L-BFGS算法，用從有標簽訓練數據集中提取的特征及其標簽，訓練softmax回歸模型% Use lambda = 1e-4 for the weight regularization for softmaxlambda = 1e-4; inputSize = hiddenSize; numClasses = numel(unique(trainLabels));%unique為找出向量中的非重復元素并進行排序% You need to compute softmaxModel using softmaxTrain on trainFeatures and % trainLabelsaddpath Softmax_Regression/ options.maxIter = 100; softmaxModel = softmaxTrain(inputSize, numLabels, lambda, ...trainData, trainLabels, options);

---

function [activation] = feedForwardAutoencoder(theta, hiddenSize, visibleSize, data) % 該函數的作用是：利用稀疏自編碼器從數據中提取特征 % theta: trained weights from the autoencoder % visibleSize: the number of input units (probably 64) % hiddenSize: the number of hidden units (probably 25) % data: Our matrix containing the training data as columns. So, data(:,i) is the i-th training example. % We first convert theta to the (W1, W2, b1, b2) matrix/vector format, so that this % follows the notation convention of the lecture notes. W1 = reshape(theta(1:hiddenSize*visibleSize), hiddenSize, visibleSize); b1 = theta(2*hiddenSize*visibleSize+1:2*hiddenSize*visibleSize+hiddenSize);%% ---------- YOUR CODE HERE -------------------------------------- % Instructions: Compute the activation of the hidden layer for the Sparse Autoencoder. activation=sigmoid(W1*data+repmat(b1,1,size(data,2)));%-------------------------------------------------------------------end%------------------------------------------------------------------- % Here's an implementation of the sigmoid function, which you may find useful % in your computation of the costs and the gradients. This inputs a (row or % column) vector (say (z1, z2, z3)) and returns (f(z1), f(z2), f(z3)). function sigm = sigmoid(x)sigm = 1 ./ (1 + exp(-x)); end

---

參考文獻

---

UFLDL教程（五）之self-taught learning

Deep Learning 7_深度學習UFLDL教程：Self-Taught Learning_Exercise（斯坦福大學深度學習教程）

自我學習

Deep Learning 6_深度學習UFLDL教程：Softmax Regression_Exercise（斯坦福大學深度學習教程）

吳恩達 Andrew Ng 的公開課

總結

以上是生活随笔為你收集整理的UFLDL教程: Exercise:Self-Taught Learning的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。