由多個(gè)稀疏自編碼器的編碼層和一個(gè)分類(lèi)器組成。
直接上代碼：

numLayers=numel(stack); a{1}=data; for i=1:numLayersz{i+1}=stack{i}.w*a{i}+repmat(stack{i}.b,1,M);a{i+1}=sigmoid(z{i+1}); end z{numLayers+2}=softmaxTheta*a{numLayers+1}; p=bsxfun(@rdivide,exp(z{numLayers+2}),sum(exp(z{numLayers+2})));%代價(jià)函數(shù)，只考慮Softmax回歸模型的代價(jià) cost=-1/M*sum(sum(groundTruth.*log(p)))+lambda/2*sum(sum(softmaxTheta.^2));%Softmax單獨(dú)求導(dǎo) softmaxThetaGrad = -1/M * (groundTruth -p) *a{numLayers+1}' + lambda * softmaxTheta;%BP d = cell(numLayers+1); d{numLayers+1} = -(softmaxTheta' * (groundTruth - p)) .* (a{numLayers+1} .* (1-a{numLayers+1})); for layer = (numLayers:-1:2)d{layer} = (stack{layer}.w' * d{layer+1}) .* (a{layer} .* (1- a{layer})); endfor layer = (numLayers:-1:1)stackgrad{layer}.w = (1/M) * d{layer+1} * a{layer}';stackgrad{layer}.b = (1/M) * sum(d{layer+1}, 2); end

梯度求導(dǎo)，感謝博主小村長(zhǎng)的分享，貼下圖：

結(jié)合以上推導(dǎo)過(guò)程，加上自己理解，寫(xiě)出推導(dǎo)過(guò)程如下：

總結(jié)

以上是生活随笔為你收集整理的深度学习笔记5：Building Deep Networks for Classification的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。