Deep learning：五十一(CNN的反向求導(dǎo)及練習(xí)) 摘要: 前言： CNN作為DL中最成功的模型之一，有必要對(duì)其更進(jìn)一步研究它。雖然在前面的博文Stacked CNN簡(jiǎn)單介紹中有大概介紹過(guò)CNN的使用，不過(guò)那是有個(gè)前提的：CNN中的參數(shù)必須已提前學(xué)習(xí)好。而本文的主要目的是介紹CNN參數(shù)在使用bp算法時(shí)該怎么訓(xùn)練，畢竟CNN中有卷積層和下采樣層，雖然和M...閱讀全文 posted @?2013-12-10 23:36?tornadomeet 閱讀(44394) |?評(píng)論 (37)?編輯 Deep learning：五十(Deconvolution Network簡(jiǎn)單理解) 摘要: 深度網(wǎng)絡(luò)結(jié)構(gòu)是由多個(gè)單層網(wǎng)絡(luò)疊加而成的，而常見(jiàn)的單層網(wǎng)絡(luò)按照編碼解碼情況可以分為下面3類(lèi)：既有encoder部分也有decoder部分：比如常見(jiàn)的RBM系列（由RBM可構(gòu)成的DBM, DBN等），autoencoder系列(以及由其擴(kuò)展的sparse autoencoder, denoise a...閱讀全文 posted @?2013-11-26 21:05?tornadomeet 閱讀(10034) |?評(píng)論 (10)?編輯 Deep learning：四十九(RNN-RBM簡(jiǎn)單理解) 摘要: 前言： 本文主要是bengio的deep learning tutorial教程主頁(yè)中最后一個(gè)sample：rnn-rbm in polyphonic music. 即用RNN-RBM來(lái)model復(fù)調(diào)音樂(lè)，訓(xùn)練過(guò)程中采用的是midi格式的音頻文件，接著用建好的model來(lái)產(chǎn)生復(fù)調(diào)音樂(lè)。對(duì)音樂(lè)建模的難點(diǎn)在與每首樂(lè)曲中幀間是高度時(shí)間相關(guān)的（這樣樣本的維度會(huì)很高），用普通的網(wǎng)絡(luò)模型是不能搞定的（普通設(shè)計(jì)網(wǎng)絡(luò)模型沒(méi)有考慮時(shí)間維度，圖模型中的HMM有這方面的能力），這種情況下可以采用RNN來(lái)處理，這里的RNN為recurrent neural network中文為循環(huán)神經(jīng)網(wǎng)絡(luò)，另外還有一種RNN為...閱讀全文 posted @?2013-11-23 21:54?tornadomeet 閱讀(37065) |?評(píng)論 (3)?編輯 Deep learning：四十八(Contractive AutoEncoder簡(jiǎn)單理解) 摘要: Contractive autoencoder是autoencoder的一個(gè)變種，其實(shí)就是在autoencoder上加入了一個(gè)規(guī)則項(xiàng)，它簡(jiǎn)稱(chēng)CAE（對(duì)應(yīng)中文翻譯為？）。通常情況下，對(duì)權(quán)值進(jìn)行懲罰后的autoencoder數(shù)學(xué)表達(dá)形式為： 這是直接對(duì)W的值進(jìn)行懲罰的，而今天要講的CAE其數(shù)學(xué)表達(dá)式同樣非常簡(jiǎn)單，如下： 其中的是隱含層輸出值關(guān)于權(quán)重的雅克比矩陣，而 表示的是該雅克比矩陣的F范數(shù)的平方，即雅克比矩陣中每個(gè)元素求平方 然后求和，更具體的數(shù)學(xué)表達(dá)式為： 關(guān)于雅克比矩陣的介紹可參考雅克比矩陣&行列式——單純的矩陣和算子，關(guān)于F范數(shù)可參考我前面的博文Sparse ...閱讀全文 posted @?2013-11-20 23:37?tornadomeet 閱讀(6919) |?評(píng)論 (9)?編輯 Deep learning：四十七(Stochastic Pooling簡(jiǎn)單理解) 摘要: CNN中卷積完后有個(gè)步驟叫pooling, 在ICLR2013上，作者Zeiler提出了另一種pooling手段(最常見(jiàn)的就是mean-pooling和max-pooling)，叫stochastic pooling，在他的文章還給出了效果稍差點(diǎn)的probability weighted pooling方法。 stochastic pooling方法非常簡(jiǎn)單，只需對(duì)feature map中的元素按照其概率值大小隨機(jī)選擇，即元素值大的被選中的概率也大。而不像max-pooling那樣，永遠(yuǎn)只取那個(gè)最大值元素。 假設(shè)feature map中的pooling區(qū)域元素值如下： 3*3大小...閱讀全文 posted @?2013-11-19 19:11?tornadomeet 閱讀(10019) |?評(píng)論 (1)?編輯 Deep learning：四十六(DropConnect簡(jiǎn)單理解) 摘要: 和maxout(maxout簡(jiǎn)單理解)一樣，DropConnect也是在ICML2013上發(fā)表的，同樣也是為了提高Deep Network的泛化能力的，兩者都號(hào)稱(chēng)是對(duì)Dropout(Dropout簡(jiǎn)單理解)的改進(jìn)。 我們知道，Dropout是在訓(xùn)練過(guò)程中以一定概率1-p將隱含層節(jié)點(diǎn)的輸出值清0，而用bp更新權(quán)值時(shí)，不再更新與該節(jié)點(diǎn)相連的權(quán)值。用公式描述如下： 其中v是n*1維的列向量，W是d*n維的矩陣，m是個(gè)d*1的01列向量，a(x)是一個(gè)滿(mǎn)足a(0)=0的激發(fā)函數(shù)形式。這里的m和a(Wv)相乘是對(duì)應(yīng)元素的相乘。 而DropConnect的思想也很簡(jiǎn)單，與Dropout不同的是...閱讀全文 posted @?2013-11-18 21:46?tornadomeet 閱讀(6557) |?評(píng)論 (0)?編輯 Deep learning：四十五(maxout簡(jiǎn)單理解) 摘要: maxout出現(xiàn)在ICML2013上，作者Goodfellow將maxout和dropout結(jié)合后，號(hào)稱(chēng)在MNIST, CIFAR-10, CIFAR-100, SVHN這4個(gè)數(shù)據(jù)上都取得了start-of-art的識(shí)別率。 從論文中可以看出，maxout其實(shí)一種激發(fā)函數(shù)形式。通常情況下，如果激發(fā)函數(shù)采用sigmoid函數(shù)的話(huà)，在前向傳播過(guò)程中，隱含層節(jié)點(diǎn)的輸出表達(dá)式為： 其中W一般是2維的，這里表示取出的是第i列，下標(biāo)i前的省略號(hào)表示對(duì)應(yīng)第i列中的所有行。但如果是maxout激發(fā)函數(shù)，則其隱含層節(jié)點(diǎn)的輸出表達(dá)式為： 這里的W是3維的，尺寸為d*m*k，其中d表示輸入層節(jié)...閱讀全文 posted @?2013-11-18 10:10?tornadomeet 閱讀(12010) |?評(píng)論 (10)?編輯 Deep learning：四十四(Pylearn2中的Quick-start例子) 摘要: 前言： 聽(tīng)說(shuō)Pylearn2是個(gè)蠻適合搞深度學(xué)習(xí)的庫(kù)，它建立在Theano之上，支持GPU(估計(jì)得以后工作才玩這個(gè)，現(xiàn)在木有這個(gè)硬件條件)運(yùn)算，由DL大牛Bengio小組弄出來(lái)的，再加上Pylearn2里面已經(jīng)集成了一部分常見(jiàn)的DL算法，本著很想讀讀這些算法的源碼和細(xì)節(jié)這一想法，打算學(xué)習(xí)下Pylearn2的使用. 網(wǎng)上這方面的中文資料簡(jiǎn)直是太少了，雖然本博文沒(méi)什么實(shí)質(zhì)內(nèi)容，但也寫(xiě)貼出來(lái)，說(shuō)不定可以幫到一些初學(xué)者。 從Bengio的一篇paper: Pylearn2: a machine learning research library可以看出，Pylearn2主要是針對(duì)機(jī)器學(xué)習(xí)開(kāi)發(fā)者...閱讀全文 posted @?2013-11-14 23:49?tornadomeet 閱讀(9429) |?評(píng)論 (13)?編輯 Deep learning：四十三(用Hessian Free方法訓(xùn)練Deep Network) 摘要: 目前，深度網(wǎng)絡(luò)（Deep Nets）權(quán)值訓(xùn)練的主流方法還是梯度下降法（結(jié)合BP算法），當(dāng)然在此之前可以用無(wú)監(jiān)督的方法（比如說(shuō)RBM，Autoencoder）來(lái)預(yù)訓(xùn)練參數(shù)的權(quán)值，而梯度下降法應(yīng)用在深度網(wǎng)絡(luò)中的一個(gè)缺點(diǎn)是權(quán)值的迭代變化值會(huì)很小，很容易收斂到的局部最優(yōu)點(diǎn)；另一個(gè)缺點(diǎn)是梯度下降法不能很好的處理有病態(tài)的曲率（比如Rosenbrock函數(shù)）的誤差函數(shù)。而本文中所介紹的Hessian Free方法（以下簡(jiǎn)稱(chēng)HF）可以不用預(yù)訓(xùn)練網(wǎng)絡(luò)的權(quán)值，效果也還不錯(cuò)，且其適用范圍更廣（可以用于RNN等網(wǎng)絡(luò)的學(xué)習(xí)），同時(shí)克服了上面梯度下降法的那2個(gè)缺點(diǎn)。HF的主要思想類(lèi)似于牛頓迭代法，只是并沒(méi)有顯示的去計(jì)..閱讀全文 posted @?2013-08-19 11:20?tornadomeet 閱讀(7740) |?評(píng)論 (5)?編輯 Deep learning：四十二(Denoise Autoencoder簡(jiǎn)單理解) 摘要: 前言： 當(dāng)采用無(wú)監(jiān)督的方法分層預(yù)訓(xùn)練深度網(wǎng)絡(luò)的權(quán)值時(shí)，為了學(xué)習(xí)到較魯棒的特征，可以在網(wǎng)絡(luò)的可視層（即數(shù)據(jù)的輸入層）引入隨機(jī)噪聲，這種方法稱(chēng)為Denoise Autoencoder(簡(jiǎn)稱(chēng)dAE)，由Bengio在08年提出，見(jiàn)其文章Extracting and composing robust features with denoising autoencoders.使用dAE時(shí)，可以用被破壞的輸入數(shù)據(jù)重構(gòu)出原始的數(shù)據(jù)（指沒(méi)被破壞的數(shù)據(jù)），所以它訓(xùn)練出來(lái)的特征會(huì)更魯棒。本篇博文主要是根據(jù)Benigio的那篇文章簡(jiǎn)單介紹下dAE，然后通過(guò)2個(gè)簡(jiǎn)單的實(shí)驗(yàn)來(lái)說(shuō)明實(shí)際編程中該怎樣應(yīng)用dAE。這2個(gè)...閱讀全文 posted @?2013-08-16 08:02?tornadomeet 閱讀(23149) |?評(píng)論 (6)?編輯 Deep learning：四十一(Dropout簡(jiǎn)單理解) 摘要: 前言 訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型時(shí)，如果訓(xùn)練樣本較少，為了防止模型過(guò)擬合，Dropout可以作為一種trikc供選擇。Dropout是hintion最近2年提出的，源于其文章Improving neural networks by preventing co-adaptation of feature detectors.中文大意為：通過(guò)阻止特征檢測(cè)器的共同作用來(lái)提高神經(jīng)網(wǎng)絡(luò)的性能。本篇博文就是按照這篇論文簡(jiǎn)單介紹下Dropout的思想，以及從用一個(gè)簡(jiǎn)單的例子來(lái)說(shuō)明該如何使用dropout。 基礎(chǔ)知識(shí)： Dropout是指在模型訓(xùn)練時(shí)隨機(jī)讓網(wǎng)絡(luò)某些隱含層節(jié)點(diǎn)的權(quán)重不工作，不工作的那些節(jié)點(diǎn)可以暫...閱讀全文 posted @?2013-08-14 19:14?tornadomeet 閱讀(32582) |?評(píng)論 (15)?編輯 Deep learning：四十(龍星計(jì)劃2013深度學(xué)習(xí)課程小總結(jié)) 摘要: 頭腦一熱，坐幾十個(gè)小時(shí)的硬座北上去天津大學(xué)去聽(tīng)了門(mén)4天的深度學(xué)習(xí)課程，課程預(yù)先的計(jì)劃內(nèi)容見(jiàn)：http://cs.tju.edu.cn/web/courseIntro.html。上課老師為微軟研究院的大牛——鄧力，群（qq群介紹見(jiàn)：Deep learning高質(zhì)量交流群）里面有人戲稱(chēng)鄧力（拼音簡(jiǎn)稱(chēng)DL）老師是天生注定能夠在DL（Deep learning）領(lǐng)域有所成就的，它的個(gè)人主頁(yè)見(jiàn)：http://research.microsoft.com/en-us/people/deng/。這次我花費(fèi)這么大的力氣參加這個(gè)課程，是期望能達(dá)到3個(gè)目的的：一、把DL中一些常見(jiàn)基礎(chǔ)算法弄明白，特別是跟能量模..閱讀全文 posted @?2013-07-14 19:09?tornadomeet 閱讀(17375) |?評(píng)論 (17)?編輯 Deep learning：三十九(ICA模型練習(xí)) 摘要: 前言： 本次主要是練習(xí)下ICA模型，關(guān)于ICA模型的理論知識(shí)可以參考前面的博文：Deep learning：三十三(ICA模型)。本次實(shí)驗(yàn)的內(nèi)容和步驟可以是參考UFLDL上的教程：Exercise:Independent Component Analysis。本次實(shí)驗(yàn)完成的內(nèi)容和前面的很多練習(xí)類(lèi)似，即學(xué)習(xí)STL-10數(shù)據(jù)庫(kù)的ICA特征。當(dāng)然了，這些數(shù)據(jù)已經(jīng)是以patches的形式給出，共2w個(gè)patch，8*8大小的。 實(shí)驗(yàn)基礎(chǔ)： 步驟分為下面幾步：設(shè)置網(wǎng)絡(luò)的參數(shù)，其中的輸入樣本的維數(shù)為8*8*3=192。對(duì)輸入的樣本集進(jìn)行白化，比如說(shuō)ZCA白化，但是一定要將其中的參數(shù)eplison...閱讀全文 posted @?2013-05-07 22:56?tornadomeet 閱讀(5418) |?評(píng)論 (17)?編輯 Deep learning：三十八(Stacked CNN簡(jiǎn)單介紹) 摘要: 前言： 本節(jié)主要是來(lái)簡(jiǎn)單介紹下stacked CNN（深度卷積網(wǎng)絡(luò)），起源于本人在構(gòu)建SAE網(wǎng)絡(luò)時(shí)的一點(diǎn)困惑：見(jiàn)Deep learning：三十六(關(guān)于構(gòu)建深度卷積SAE網(wǎng)絡(luò)的一點(diǎn)困惑)。因?yàn)橛袝r(shí)候針對(duì)大圖片進(jìn)行recognition時(shí)，需要用到無(wú)監(jiān)督學(xué)習(xí)的方法去pre-training（預(yù)訓(xùn)練）stacked CNN的每層網(wǎng)絡(luò)，然后用BP算法對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行fine-tuning（微調(diào)），并且上一層的輸出作為下一層的輸入。這幾句話(huà)說(shuō)起來(lái)很簡(jiǎn)單，可是真的這么容易嗎？對(duì)于初學(xué)者來(lái)說(shuō)，在實(shí)際實(shí)現(xiàn)這個(gè)流程時(shí)并不是那么順利，因?yàn)檫@其中要涉及到很多細(xì)節(jié)問(wèn)題。這里不打算細(xì)講deep statcked網(wǎng)...閱讀全文 posted @?2013-05-05 20:27?tornadomeet 閱讀(43927) |?評(píng)論 (51)?編輯 Deep learning：三十七(Deep learning中的優(yōu)化方法) 摘要: 內(nèi)容： 本文主要是參考論文：On optimization methods for deep learning，文章內(nèi)容主要是筆記SGD（隨機(jī)梯度下降），LBFGS（受限的BFGS），CG（共軛梯度法）三種常見(jiàn)優(yōu)化算法的在deep learning體系中的性能。下面是一些讀完的筆記。 SGD優(yōu)點(diǎn)：實(shí)現(xiàn)簡(jiǎn)單，當(dāng)訓(xùn)練樣本足夠多時(shí)優(yōu)化速度非常快。 SGD缺點(diǎn)：需要人為調(diào)整很多參數(shù)，比如學(xué)習(xí)率，收斂準(zhǔn)則等。另外，它是序列的方法，不利于GPU并行或分布式處理。 各種deep learning中常見(jiàn)方法（比如說(shuō)Autoencoder，RBM，DBN，ICA，Sparse coding）的區(qū)別是...閱讀全文 posted @?2013-05-02 00:04?tornadomeet 閱讀(16538) |?評(píng)論 (1)?編輯 Deep learning：三十六(關(guān)于構(gòu)建深度卷積SAE網(wǎng)絡(luò)的一點(diǎn)困惑) 摘要: 前言： 最近一直在思考，如果我使用SCSAE（即stacked convolution sparse autoendoer）算法來(lái)訓(xùn)練一個(gè)的deep model的話(huà)，其網(wǎng)絡(luò)的第二層開(kāi)始后續(xù)所有網(wǎng)絡(luò)層的訓(xùn)練數(shù)據(jù)從哪里來(lái)呢？其實(shí)如果在這個(gè)問(wèn)題中，當(dāng)我們的樣本大小（指提供的最原始數(shù)據(jù)，比如大的圖片集）和我們所訓(xùn)練第一個(gè)網(wǎng)絡(luò)的輸入維度是一樣的話(huà)，那么第二層網(wǎng)絡(luò)的輸入即第一層網(wǎng)絡(luò)的輸出（后續(xù)的網(wǎng)絡(luò)依次類(lèi)推），但是這種情況下根本就不會(huì)涉及到convolution（一般有convolution的地方也會(huì)有pooling），所以不屬于我想要討論的SCSAE框架。后面根據(jù)自己對(duì)deep learning的...閱讀全文 posted @?2013-05-01 15:32?tornadomeet 閱讀(13350) |?評(píng)論 (10)?編輯 Deep learning：三十五(用NN實(shí)現(xiàn)數(shù)據(jù)降維練習(xí)) 摘要: 前言： 本文是針對(duì)上篇博文Deep learning：三十四(用NN實(shí)現(xiàn)數(shù)據(jù)的降維)的練習(xí)部分，也就是Hition大牛science文章reducing the dimensionality of data with neural networks的code部分，其code下載見(jiàn)：http:/...閱讀全文 posted @?2013-04-30 20:03?tornadomeet 閱讀(14610) |?評(píng)論 (71)?編輯 Deep learning：三十四(用NN實(shí)現(xiàn)數(shù)據(jù)的降維) 摘要: 數(shù)據(jù)降維的重要性就不必說(shuō)了，而用NN（神經(jīng)網(wǎng)絡(luò)）來(lái)對(duì)數(shù)據(jù)進(jìn)行大量的降維是從2006開(kāi)始的，這起源于2006年science上的一篇文章：reducing the dimensionality of data with neural networks，作者就是鼎鼎有名的Hinton，這篇文章也標(biāo)志著deep learning進(jìn)入火熱的時(shí)代。 今天花了點(diǎn)時(shí)間讀了下這篇文章，下面是一點(diǎn)筆記： 多層感知機(jī)其實(shí)在上世紀(jì)已經(jīng)被提出來(lái)了，但是為什么它沒(méi)有得到廣泛應(yīng)用呢？其原因在于對(duì)多層非線(xiàn)性網(wǎng)絡(luò)進(jìn)行權(quán)值優(yōu)化時(shí)很難得到全局的參數(shù)。因?yàn)橐话闶褂脭?shù)值優(yōu)化算法（比如BP算法）時(shí)需要隨機(jī)給網(wǎng)絡(luò)賦一個(gè)值，而當(dāng)這...閱讀全文 posted @?2013-04-29 22:52?tornadomeet 閱讀(8836) |?評(píng)論 (3)?編輯 Deep learning：三十三(ICA模型) 摘要: 基礎(chǔ)知識(shí)： 在sparse coding（可參考Deep learning：二十六(Sparse coding簡(jiǎn)單理解)，Deep learning：二十九(Sparse coding練習(xí))）模型中，學(xué)習(xí)到的基是超完備集的，也就是說(shuō)基集中基的個(gè)數(shù)比數(shù)據(jù)的維數(shù)還要大，那么對(duì)一個(gè)數(shù)據(jù)而言，將其分解為基的線(xiàn)性組合時(shí)，這些基之間本身就是線(xiàn)性相關(guān)的。如果我們想要得到線(xiàn)性無(wú)關(guān)的基集，那么基集中元素的個(gè)數(shù)必須小于或等于樣本的維數(shù)，本節(jié)所講的ICA（Independent Component Analysis，獨(dú)立成分分析）模型就可以完成這一要求，它學(xué)習(xí)到的基之間不僅保證線(xiàn)性無(wú)關(guān)，還保證了相互正交。本節(jié)...閱讀全文 posted @?2013-04-25 11:03?tornadomeet 閱讀(5574) |?評(píng)論 (4)?編輯 Deep learning：三十二(基礎(chǔ)知識(shí)_3) 摘要: 前言： 本次主要是重新復(fù)習(xí)下Sparse autoencoder基礎(chǔ)知識(shí)，并且加入點(diǎn)自己的理解。關(guān)于sparse autoencoder在前面的博文Deep learning：八(Sparse Autoencoder)中已有所介紹。 基礎(chǔ)知識(shí)： 首先來(lái)看看為什么sparse autoencoder能夠?qū)W習(xí)到輸入數(shù)據(jù)的特征呢？當(dāng)使用autoencoder時(shí)，隱含層節(jié)點(diǎn)的個(gè)數(shù)會(huì)比輸入層小（一般情況下），而autoencoder又要能夠重構(gòu)輸入數(shù)據(jù)，說(shuō)明隱含層節(jié)點(diǎn)壓縮了原始數(shù)據(jù)，既然這個(gè)壓縮是有效的，則它就代表了輸入數(shù)據(jù)（因?yàn)檩斎霐?shù)據(jù)每個(gè)分量值并不是相互獨(dú)立的）的一部分特征了。如果對(duì)隱含節(jié)...閱讀全文 posted @?2013-04-25 00:14?tornadomeet 閱讀(4547) |?評(píng)論 (3)?編輯 Deep learning：三十一(數(shù)據(jù)預(yù)處理練習(xí)) 摘要: 前言: 本節(jié)主要是來(lái)練習(xí)下在machine learning(不僅僅是deep learning)設(shè)計(jì)前的一些數(shù)據(jù)預(yù)處理步驟，關(guān)于數(shù)據(jù)預(yù)處理的一些基本要點(diǎn)在前面的博文Deep learning：三十(關(guān)于數(shù)據(jù)預(yù)處理的相關(guān)技巧)中已有所介紹，無(wú)非就是數(shù)據(jù)的歸一化和數(shù)據(jù)的白化，而數(shù)據(jù)的歸一化又分為尺度歸一化，均值方差歸一化等。數(shù)據(jù)的白化常見(jiàn)的也有PCA白化和ZCA白化。 實(shí)驗(yàn)基礎(chǔ)： 本次實(shí)驗(yàn)所用的數(shù)據(jù)為ASL手勢(shì)識(shí)別的數(shù)據(jù)，數(shù)據(jù)可以在網(wǎng)站http://personal.ee.surrey.ac.uk/Personal/N.Pugeault/index.php?section=Finger...閱讀全文 posted @?2013-04-24 09:47?tornadomeet 閱讀(8926) |?評(píng)論 (7)?編輯 Deep learning：三十(關(guān)于數(shù)據(jù)預(yù)處理的相關(guān)技巧) 摘要: 前言： 本文主要是介紹下在一個(gè)實(shí)際的機(jī)器學(xué)習(xí)系統(tǒng)中，該怎樣對(duì)數(shù)據(jù)進(jìn)行預(yù)處理。個(gè)人感覺(jué)數(shù)據(jù)預(yù)處理部分在整個(gè)系統(tǒng)設(shè)計(jì)中的工作量占了至少1/3。首先數(shù)據(jù)的采集就非常的費(fèi)時(shí)費(fèi)力，因?yàn)檫@些數(shù)據(jù)需要考慮各種因素，然后有時(shí)還需對(duì)數(shù)據(jù)進(jìn)行繁瑣的標(biāo)注。當(dāng)這些都有了后，就相當(dāng)于我們有了元素的raw數(shù)據(jù)，然后就可以進(jìn)行下面的數(shù)據(jù)預(yù)處理部分了。本文是參考的UFLDL網(wǎng)頁(yè)教程：Data Preprocessing，在該網(wǎng)頁(yè)的底部可以找到其對(duì)應(yīng)的中文版。 基礎(chǔ)知識(shí)： 一般來(lái)說(shuō)，算法的好壞一定程度上和數(shù)據(jù)是否歸一化，是否白化有關(guān)。但是在具體問(wèn)題中，這些數(shù)據(jù)預(yù)處理中的參數(shù)其實(shí)還是很難準(zhǔn)確得到的，當(dāng)然了，除非你對(duì)對(duì)應(yīng)...閱讀全文 posted @?2013-04-20 21:05?tornadomeet 閱讀(8977) |?評(píng)論 (1)?編輯 Deep learning：二十九(Sparse coding練習(xí)) 摘要: 前言 本節(jié)主要是練習(xí)下斯坦福DL網(wǎng)絡(luò)教程UFLDL關(guān)于Sparse coding那一部分，具體的網(wǎng)頁(yè)教程參考：Exercise:Sparse Coding。該實(shí)驗(yàn)的主要內(nèi)容是從2w個(gè)自然圖像的patches中分別采用sparse coding和拓?fù)涞膕parse coding方法進(jìn)行學(xué)習(xí)，并觀察學(xué)習(xí)到的這些圖像基圖像的特征。訓(xùn)練數(shù)據(jù)時(shí)自然圖片IMAGE，在給出的教程網(wǎng)站上有。 實(shí)驗(yàn)基礎(chǔ) Sparse coding的主要是思想學(xué)習(xí)輸入數(shù)據(jù)集”基數(shù)據(jù)”，一旦獲得這些”基數(shù)據(jù)”，輸入數(shù)據(jù)集中的每個(gè)數(shù)據(jù)都可以用這些”基數(shù)據(jù)”的線(xiàn)性組合表示，而稀疏性則體現(xiàn)在這些線(xiàn)性組合系數(shù)是系數(shù)的，即大部分的...閱讀全文 posted @?2013-04-16 16:41?tornadomeet 閱讀(13583) |?評(píng)論 (65)?編輯 Deep learning：二十八(使用BP算法思想求解Sparse coding中矩陣范數(shù)導(dǎo)數(shù)) 摘要: 前言： 關(guān)于Sparse coding目標(biāo)函數(shù)的優(yōu)化會(huì)涉及到矩陣求數(shù)問(wèn)題，因?yàn)槔锩嬗泻枚嗑仃嚪稊?shù)的導(dǎo)數(shù)，加上自己對(duì)矩陣運(yùn)算不熟悉，推導(dǎo)前面博文Deep learning：二十六(Sparse coding簡(jiǎn)單理解)中關(guān)于拓?fù)?#xff08;非拓?fù)涞囊?jiǎn)單很多）Sparse coding代價(jià)函數(shù)對(duì)特征變量s導(dǎo)數(shù)的公式時(shí)，在草稿紙上推導(dǎo)了大半天也沒(méi)有正確結(jié)果。該公式表達(dá)式為： 后面繼續(xù)看UFLDL教程，發(fā)現(xiàn)這篇文章Deriving gradients using the backpropagation idea中已經(jīng)給出了我想要的答案，作者是應(yīng)用BP神經(jīng)網(wǎng)絡(luò)中求網(wǎng)絡(luò)代價(jià)函數(shù)導(dǎo)數(shù)的思想，將上述代價(jià)函...閱讀全文 posted @?2013-04-15 16:26?tornadomeet 閱讀(6781) |?評(píng)論 (1)?編輯 Deep learning：二十七(Sparse coding中關(guān)于矩陣的范數(shù)求導(dǎo)) 摘要: 前言： 由于在sparse coding模型中求系統(tǒng)代價(jià)函數(shù)偏導(dǎo)數(shù)時(shí)需要用到矩陣的范數(shù)求導(dǎo)，這在其它模型中應(yīng)該也很常見(jiàn)，比如說(shuō)對(duì)一個(gè)矩陣內(nèi)的元素值進(jìn)行懲罰，使其值不能過(guò)大，則可以使用F范數(shù)（下面將介紹）約束，查閱了下矩陣范數(shù)求導(dǎo)的相關(guān)資料，本節(jié)就簡(jiǎn)單介紹下。 首先，網(wǎng)絡(luò)上有大把的人把2范數(shù)和F=2時(shí)的范數(shù)混為一談，或者說(shuō)把矩陣p范數(shù)和誘導(dǎo)p范數(shù)混淆了（也有可能是因?yàn)楦鱾€(gè)版本書(shū)所定義的不同吧）。下面我還是以矩陣中權(quán)威教材the matrix cookbook和matlab內(nèi)嵌函數(shù)所用的定義來(lái)解釋。話(huà)說(shuō)the matrix cookbook是一本非常不錯(cuò)的參考書(shū)，查找矩陣相關(guān)的公式就像查字...閱讀全文 posted @?2013-04-14 10:21?tornadomeet 閱讀(12977) |?評(píng)論 (4)?編輯 Deep learning：二十六(Sparse coding簡(jiǎn)單理解) 摘要: Sparse coding： 本節(jié)將簡(jiǎn)單介紹下sparse coding(稀疏編碼)，因?yàn)閟parse coding也是deep learning中一個(gè)重要的分支，同樣能夠提取出數(shù)據(jù)集很好的特征。本文的內(nèi)容是參考斯坦福deep learning教程：Sparse Coding，Sparse Coding: Autoencoder Interpretation，對(duì)應(yīng)的中文教程見(jiàn)稀疏編碼，稀疏編碼自編碼表達(dá)。 在次之前，我們需要對(duì)凸優(yōu)化有些了解，百度百科解釋為：”凸優(yōu)化“ 是指一種比較特殊的優(yōu)化，是指目標(biāo)函數(shù)為凸函數(shù)且由約束條件得到的定義域?yàn)橥辜膬?yōu)化問(wèn)題，也就是說(shuō)目標(biāo)函數(shù)和約束條件都是”...閱讀全文 posted @?2013-04-13 13:39?tornadomeet 閱讀(24393) |?評(píng)論 (17)?編輯 Deep learning：二十五(Kmeans單層網(wǎng)絡(luò)識(shí)別性能) 摘要: 前言： 本文是用kmeans方法來(lái)分析單層網(wǎng)絡(luò)的性能，主要是用在CIFAR-10圖像識(shí)別數(shù)據(jù)庫(kù)上。關(guān)于單層網(wǎng)絡(luò)的性能可以參考前面的博文：Deep learning：二十(無(wú)監(jiān)督特征學(xué)習(xí)中關(guān)于單層網(wǎng)絡(luò)的分析)。當(dāng)然了，本文依舊是參考論文An Analysis of Single-Layer Ne...閱讀全文 posted @?2013-04-12 11:34?tornadomeet 閱讀(9487) |?評(píng)論 (16)?編輯 Deep learning：二十四(stacked autoencoder練習(xí)) 摘要: 前言： 本次是練習(xí)2個(gè)隱含層的網(wǎng)絡(luò)的訓(xùn)練方法，每個(gè)網(wǎng)絡(luò)層都是用的sparse autoencoder思想，利用兩個(gè)隱含層的網(wǎng)絡(luò)來(lái)提取出輸入數(shù)據(jù)的特征。本次實(shí)驗(yàn)驗(yàn)要完成的任務(wù)是對(duì)MINST進(jìn)行手寫(xiě)數(shù)字識(shí)別，實(shí)驗(yàn)內(nèi)容及步驟參考網(wǎng)頁(yè)教程Exercise: Implement deep networks for digit classification。當(dāng)提取出手寫(xiě)數(shù)字圖片的特征后，就用softmax進(jìn)行對(duì)其進(jìn)行分類(lèi)。關(guān)于MINST的介紹可以參考網(wǎng)頁(yè)：MNIST Dataset。本文的理論介紹也可以參考前面的博文：Deep learning：十六(deep networks)。 實(shí)驗(yàn)基礎(chǔ)： ...閱讀全文 posted @?2013-04-09 22:05?tornadomeet 閱讀(16201) |?評(píng)論 (77)?編輯 Deep learning：二十三(Convolution和Pooling練習(xí)) 摘要: 前言： 本次實(shí)驗(yàn)是練習(xí)convolution和pooling的使用，更深一層的理解怎樣對(duì)大的圖片采用convolution得到每個(gè)特征的輸出結(jié)果，然后采用pooling方法對(duì)這些結(jié)果進(jìn)行計(jì)算，使之具有平移不變等特性。實(shí)驗(yàn)參考的是斯坦福網(wǎng)頁(yè)教程：Exercise:Convolution and Pooling。也可以參考前面的博客：Deep learning：十七(Linear Decoders，Convolution和Pooling)，且本次試驗(yàn)是在前面博文Deep learning：二十二(linear decoder練習(xí))的學(xué)習(xí)到的特征提取網(wǎng)絡(luò)上進(jìn)行的。 實(shí)驗(yàn)基礎(chǔ)： 首先來(lái)看看整...閱讀全文 posted @?2013-04-09 12:38?tornadomeet 閱讀(20562) |?評(píng)論 (51)?編輯 Deep learning：二十二(linear decoder練習(xí)) 摘要: 前言： 本節(jié)是練習(xí)Linear decoder的應(yīng)用，關(guān)于Linear decoder的相關(guān)知識(shí)介紹請(qǐng)參考：Deep learning：十七(Linear Decoders，Convolution和Pooling)，實(shí)驗(yàn)步驟參考Exercise: Implement deep networks for digit classification。本次實(shí)驗(yàn)是用linear decoder的sparse autoencoder來(lái)訓(xùn)練出stl-10數(shù)據(jù)庫(kù)圖片的patch特征。并且這次的訓(xùn)練權(quán)值是針對(duì)rgb圖像塊的。 基礎(chǔ)知識(shí)： PCA Whitening是保證數(shù)據(jù)各維度的方差為1，而ZCA ...閱讀全文 posted @?2013-04-08 14:34?tornadomeet 閱讀(7955) |?評(píng)論 (25)?編輯 Deep learning：二十一(隨機(jī)初始化在無(wú)監(jiān)督特征學(xué)習(xí)中的作用) 摘要: 這又是Ng團(tuán)隊(duì)的一篇有趣的paper。Ng團(tuán)隊(duì)在上篇博客文章Deep learning：二十(無(wú)監(jiān)督特征學(xué)習(xí)中關(guān)于單層網(wǎng)絡(luò)的分析)中給出的結(jié)論是：網(wǎng)絡(luò)中隱含節(jié)點(diǎn)的個(gè)數(shù)，convolution尺寸和移動(dòng)步伐等參數(shù)比網(wǎng)絡(luò)的層次比網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)算法本身還要重要，也就是說(shuō)即使是使用單層的網(wǎng)絡(luò)，只要隱含層的節(jié)點(diǎn)數(shù)夠大，convolution尺寸和移動(dòng)步伐較小，用簡(jiǎn)單的算法（比如kmeans算法）也可取得不亞于其它復(fù)雜的deep learning最優(yōu)效果算法。而在本文On random weights and unsupervised feature learning中又提出了個(gè)新觀點(diǎn)：即根本就無(wú)需通..閱讀全文 posted @?2013-04-03 17:03?tornadomeet 閱讀(5726) |?評(píng)論 (0)?編輯 Deep learning：二十(無(wú)監(jiān)督特征學(xué)習(xí)中關(guān)于單層網(wǎng)絡(luò)的分析) 摘要: 本文是讀Ng團(tuán)隊(duì)的論文” An Analysis of Single-Layer Networks in Unsupervised Feature Learning”后的分析，主要是針對(duì)一個(gè)隱含層的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行分析的，分別對(duì)比了4種網(wǎng)絡(luò)結(jié)構(gòu)，k-means, sparse autoencoder, sparse rbm, gmm。最后作者得出了下面幾個(gè)結(jié)論：1. 網(wǎng)絡(luò)中隱含層神經(jīng)元節(jié)點(diǎn)的個(gè)數(shù)，采集的密度（也就是convolution時(shí)的移動(dòng)步伐）和感知區(qū)域大小對(duì)最終特征提取效果的影響很大，甚至比網(wǎng)絡(luò)的層次數(shù)，deep learning學(xué)習(xí)算法本身還要重要。2. Whitening在預(yù)處理過(guò)..閱讀全文 posted @?2013-04-02 23:47?tornadomeet 閱讀(10192) |?評(píng)論 (1)?編輯 Deep learning：十九(RBM簡(jiǎn)單理解) 摘要: 這篇博客主要用來(lái)簡(jiǎn)單介紹下RBM網(wǎng)絡(luò)，因?yàn)閐eep learning中的一個(gè)重要網(wǎng)絡(luò)結(jié)構(gòu)DBN就可以由RBM網(wǎng)絡(luò)疊加而成，所以對(duì)RBM的理解有利于我們對(duì)DBN算法以及deep learning算法的進(jìn)一步理解。Deep learning是從06年開(kāi)始火得，得益于大牛Hinton的文章，不過(guò)這位大牛的文章比較晦澀難懂，公式太多，對(duì)于我這種菜鳥(niǎo)級(jí)別來(lái)說(shuō)讀懂它的paper壓力太大。縱觀大部分介紹RBM的paper，都會(huì)提到能量函數(shù)。因此有必要先了解下能量函數(shù)的概念。參考網(wǎng)頁(yè)http://202.197.191.225:8080/30/text/chapter06/6_2t24.htm關(guān)于能量函數(shù)..閱讀全文 posted @?2013-03-27 15:31?tornadomeet 閱讀(45592) |?評(píng)論 (21)?編輯 Deep learning：十八(關(guān)于隨機(jī)采樣) 摘要: 由于最近在看deep learning中的RBMs網(wǎng)絡(luò)，而RBMs中本身就有各種公式不好理解，再來(lái)幾個(gè)Gibbs采樣，就更令人頭疼了。所以還是覺(jué)得先看下Gibbs采樣的理論知識(shí)。經(jīng)過(guò)調(diào)查發(fā)現(xiàn)Gibbs是隨機(jī)采樣中的一種。所以本節(jié)也主要是簡(jiǎn)單層次的理解下隨機(jī)采用知識(shí)。參考的知識(shí)是博客隨機(jī)模擬的基本思想和常用采樣方法（sampling），該博文是網(wǎng)上找到的解釋得最通俗的。其實(shí)學(xué)校各種帶數(shù)學(xué)公式的知識(shí)時(shí)，最好有學(xué)者能用通俗易懂的語(yǔ)言介紹，這對(duì)入門(mén)學(xué)者來(lái)說(shuō)極其重要。當(dāng)然了，還參考了網(wǎng)頁(yè)http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearni..閱讀全文 posted @?2013-03-26 15:39?tornadomeet 閱讀(19351) |?評(píng)論 (0)?編輯 Deep learning：十七(Linear Decoders，Convolution和Pooling) 摘要: 本文主要是學(xué)習(xí)下Linear Decoder已經(jīng)在大圖片中經(jīng)常采用的技術(shù)convolution和pooling，分別參考網(wǎng)頁(yè)http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中對(duì)應(yīng)的章節(jié)部分。 Linear Decoders: 以三層的稀疏編碼神經(jīng)網(wǎng)絡(luò)而言，在sparse autoencoder中的輸出層滿(mǎn)足下面的公式： 從公式中可以看出，a3的輸出值是f函數(shù)的輸出，而在普通的sparse autoencoder中f函數(shù)一般為sigmoid函數(shù)，所以其輸出值的范圍為(0,1)，所以可以知道a3的輸出值范圍也...閱讀全文 posted @?2013-03-25 14:44?tornadomeet 閱讀(16345) |?評(píng)論 (4)?編輯 Deep learning：十六(deep networks) 摘要: 本節(jié)參考的是網(wǎng)頁(yè)http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial中關(guān)于Building Deep Networks for Classification一節(jié)的介紹。分下面2大部分內(nèi)容： 1. 從self-taught到deep networks： 從前面的關(guān)于self-taught learning介紹（Deep learning：十五(Self-Taught Learning練習(xí))）可以看到，該ML方法在特征提取方面是完全用的無(wú)監(jiān)督方法，本次要講的就是在上面的基礎(chǔ)上再用有監(jiān)督的方法繼續(xù)對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行微調(diào)，這...閱讀全文 posted @?2013-03-25 11:09?tornadomeet 閱讀(17330) |?評(píng)論 (8)?編輯 Deep learning：十五(Self-Taught Learning練習(xí)) 摘要: 前言： 本次實(shí)驗(yàn)主要是練習(xí)soft- taught learning的實(shí)現(xiàn)。參考的資料為網(wǎng)頁(yè)：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Self-Taught_Learning。Soft-taught leaning是用的無(wú)監(jiān)督學(xué)習(xí)來(lái)學(xué)習(xí)到特征提取的參數(shù)，然后用有監(jiān)督學(xué)習(xí)來(lái)訓(xùn)練分類(lèi)器。這里分別是用的sparse autoencoder和softmax regression。實(shí)驗(yàn)的數(shù)據(jù)依舊是手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù)MNIST Dataset. 實(shí)驗(yàn)基礎(chǔ)： 從前面的知識(shí)可以知道，sparse autoencoder的輸出應(yīng)該是...閱讀全文 posted @?2013-03-24 17:57?tornadomeet 閱讀(12964) |?評(píng)論 (52)?編輯 Deep learning：十四(Softmax Regression練習(xí)) 摘要: 前言： 這篇文章主要是用來(lái)練習(xí)softmax regression在多分類(lèi)器中的應(yīng)用，關(guān)于該部分的理論知識(shí)已經(jīng)在前面的博文中Deep learning：十三(Softmax Regression)有所介紹。本次的實(shí)驗(yàn)內(nèi)容是參考網(wǎng)頁(yè)：http://deeplearning.stanford.edu/wiki/index.php/Exercise:Softmax_Regression。主要完成的是手寫(xiě)數(shù)字識(shí)別，采用的是MNIST手寫(xiě)數(shù)字?jǐn)?shù)據(jù)庫(kù)，其中訓(xùn)練樣本有6萬(wàn)個(gè)，測(cè)試樣本有1萬(wàn)個(gè)，且數(shù)字是0~9這10個(gè)。每個(gè)樣本是一張小圖片，大小為28*28的。 實(shí)驗(yàn)環(huán)境：matlab2012a 實(shí)驗(yàn)...閱讀全文 posted @?2013-03-23 20:17?tornadomeet 閱讀(17068) |?評(píng)論 (68)?編輯 Deep learning：十三(Softmax Regression) 摘要: 在前面的logistic regression博文Deep learning：四(logistic regression練習(xí)) 中，我們知道logistic regression很適合做一些非線(xiàn)性方面的分類(lèi)問(wèn)題，不過(guò)它只適合處理二分類(lèi)的問(wèn)題，且在給出分類(lèi)結(jié)果時(shí)還會(huì)給出結(jié)果的概率。那么如果需要用類(lèi)似的方法（這里類(lèi)似的方法指的是輸出分類(lèi)結(jié)果并且給出概率值）來(lái)處理多分類(lèi)問(wèn)題的話(huà)該怎么擴(kuò)展呢？本次要講的就是對(duì)logstic regression擴(kuò)展的一種多分類(lèi)器，softmax regression。參考的內(nèi)容為網(wǎng)頁(yè)：http://deeplearning.stanford.edu/wiki/in..閱讀全文 posted @?2013-03-22 17:15?tornadomeet 閱讀(35229) |?評(píng)論 (10)?編輯 Deep learning：十二(PCA和whitening在二自然圖像中的練習(xí)) 摘要: 前言: 現(xiàn)在來(lái)用PCA，PCA Whitening對(duì)自然圖像進(jìn)行處理。這些理論知識(shí)參考前面的博文：Deep learning：十(PCA和whitening)。而本次試驗(yàn)的數(shù)據(jù)，步驟，要求等參考網(wǎng)頁(yè)：http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial 。實(shí)驗(yàn)數(shù)據(jù)是從自然圖像中隨機(jī)選取10000個(gè)12*12的patch，然后對(duì)這些patch進(jìn)行99%的方差保留的PCA計(jì)算，最后對(duì)這些patch做PCA Whitening和ZCA Whitening，并進(jìn)行比較。 實(shí)驗(yàn)環(huán)境：matlab2012a 實(shí)驗(yàn)過(guò)程及結(jié)果：...閱讀全文 posted @?2013-03-22 14:04?tornadomeet 閱讀(12260) |?評(píng)論 (5)?編輯 Deep learning：十一(PCA和whitening在二維數(shù)據(jù)中的練習(xí)) 摘要: 前言： 這節(jié)主要是練習(xí)下PCA，PCA Whitening以及ZCA Whitening在2D數(shù)據(jù)上的使用，2D的數(shù)據(jù)集是45個(gè)數(shù)據(jù)點(diǎn)，每個(gè)數(shù)據(jù)點(diǎn)是2維的。參考的資料是：Exercise:PCA in 2D。結(jié)合前面的博文Deep learning：十(PCA和whitening)理論知識(shí)，來(lái)進(jìn)一步理解PCA和Whitening的作用。 matlab某些函數(shù)： scatter: scatter(X,Y,,,’’); – 點(diǎn)的大小控制，設(shè)為和X，Y同長(zhǎng)度一維向量，則值決定點(diǎn)的大小；設(shè)為常數(shù)或缺省，則所有點(diǎn)大小統(tǒng)一。 – 點(diǎn)的顏色控制，設(shè)為和X，Y同長(zhǎng)度一維向量，則色彩由值大小...閱讀全文 posted @?2013-03-21 16:07?tornadomeet 閱讀(10040) |?評(píng)論 (8)?編輯 Deep learning：十(PCA和whitening) 摘要: PCA： PCA的具有2個(gè)功能,一是維數(shù)約簡(jiǎn)（可以加快算法的訓(xùn)練速度，減小內(nèi)存消耗等），一是數(shù)據(jù)的可視化。 PCA并不是線(xiàn)性回歸，因?yàn)榫€(xiàn)性回歸是保證得到的函數(shù)是y值方面誤差最小，而PCA是保證得到的函數(shù)到所降的維度上的誤差最小。另外線(xiàn)性回歸是通過(guò)x值來(lái)預(yù)測(cè)y值，而PCA中是將所有的x樣本都同等對(duì)待。 在使用PCA前需要對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，首先是均值化，即對(duì)每個(gè)特征維，都減掉該維的平均值，然后就是將不同維的數(shù)據(jù)范圍歸一化到同一范圍，方法一般都是除以最大值。但是比較奇怪的是，在對(duì)自然圖像進(jìn)行均值處理時(shí)并不是不是減去該維的平均值，而是減去這張圖片本身的平均值。因?yàn)镻CA的預(yù)處理是按照不同應(yīng)用...閱讀全文 posted @?2013-03-21 13:34?tornadomeet 閱讀(15957) |?評(píng)論 (1)?編輯 Deep learning：九(Sparse Autoencoder練習(xí)) 摘要: 前言： 現(xiàn)在來(lái)進(jìn)入sparse autoencoder的一個(gè)實(shí)例練習(xí)，參考Ng的網(wǎng)頁(yè)教程：Exercise:Sparse Autoencoder。這個(gè)例子所要實(shí)現(xiàn)的內(nèi)容大概如下：從給定的很多張自然圖片中截取出大小為8*8的小patches圖片共10000張，現(xiàn)在需要用sparse autoencoder的方法訓(xùn)練出一個(gè)隱含層網(wǎng)絡(luò)所學(xué)習(xí)到的特征。該網(wǎng)絡(luò)共有3層，輸入層是64個(gè)節(jié)點(diǎn)，隱含層是25個(gè)節(jié)點(diǎn)，輸出層當(dāng)然也是64個(gè)節(jié)點(diǎn)了。 實(shí)驗(yàn)基礎(chǔ)： 其實(shí)實(shí)現(xiàn)該功能的主要步驟還是需要計(jì)算出網(wǎng)絡(luò)的損失函數(shù)以及其偏導(dǎo)數(shù)，具體的公式可以參考前面的博文Deep learning：八(Sparse Aut...閱讀全文 posted @?2013-03-20 10:58?tornadomeet 閱讀(32788) |?評(píng)論 (94)?編輯 Deep learning：八(Sparse Autoencoder) 摘要: 前言： 這節(jié)課來(lái)學(xué)習(xí)下Deep learning領(lǐng)域比較出名的一類(lèi)算法——sparse autoencoder，即稀疏模式的自動(dòng)編碼。我們知道，deep learning也叫做unsupervised learning，所以這里的sparse autoencoder也應(yīng)是無(wú)監(jiān)督的。按照前面的博文：Deep learning：一(基礎(chǔ)知識(shí)_1)，Deep learning：七(基礎(chǔ)知識(shí)_2)所講，如果是有監(jiān)督的學(xué)習(xí)的話(huà)，在神經(jīng)網(wǎng)絡(luò)中，我們只需要確定神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)就可以求出損失函數(shù)的表達(dá)式了（當(dāng)然，該表達(dá)式需對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行”懲罰”，以便使每個(gè)參數(shù)不要太大）,同時(shí)也能夠求出損失函數(shù)偏導(dǎo)函數(shù)的...閱讀全文 posted @?2013-03-19 22:01?tornadomeet 閱讀(25534) |?評(píng)論 (12)?編輯 Deep learning：七(基礎(chǔ)知識(shí)_2) 摘要: 前面的文章已經(jīng)介紹過(guò)了2種經(jīng)典的機(jī)器學(xué)習(xí)算法：線(xiàn)性回歸和logistic回歸，并且在后面的練習(xí)中也能夠感覺(jué)到這2種方法在一些問(wèn)題的求解中能夠取得很好的效果。現(xiàn)在開(kāi)始來(lái)看看另一種機(jī)器學(xué)習(xí)算法——神經(jīng)網(wǎng)絡(luò)。線(xiàn)性回歸或者logistic回歸問(wèn)題理論上不是可以解決所有的回歸和分類(lèi)問(wèn)題么，那么為什么還有其它各種各樣的機(jī)器學(xué)習(xí)算法呢？比如這里馬上要講的神經(jīng)網(wǎng)絡(luò)算法。其實(shí)原因很簡(jiǎn)單，在前面的一系列博文練習(xí)中可以發(fā)現(xiàn)，那些樣本點(diǎn)的輸入特征維數(shù)都非常小（比如說(shuō)2到3維），在使用logistic回歸求解時(shí)，需要把原始樣本特征重新映射到高維空間中，如果特征是3維，且指數(shù)最高為3時(shí)，得到的系數(shù)最高維數(shù)應(yīng)該是2...閱讀全文 posted @?2013-03-18 15:05?tornadomeet 閱讀(13537) |?評(píng)論 (12)?編輯 Deep learning：六(regularized logistic回歸練習(xí)) 摘要: 前言： 在上一講Deep learning：五(regularized線(xiàn)性回歸練習(xí))中已經(jīng)介紹了regularization項(xiàng)在線(xiàn)性回歸問(wèn)題中的應(yīng)用，這節(jié)主要是練習(xí)regularization項(xiàng)在logistic回歸中的應(yīng)用，并使用牛頓法來(lái)求解模型的參數(shù)。參考的網(wǎng)頁(yè)資料為：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex5/ex5.html。要解決的問(wèn)題是，給出了具有2個(gè)特征的一堆訓(xùn)練數(shù)據(jù)集，從該數(shù)據(jù)的分布可以看出它們并不是非常線(xiàn)性可分的，閱讀全文 posted @?2013-03-17 20:04?tornadomeet 閱讀(9772) |?評(píng)論 (5)?編輯 Deep learning：五(regularized線(xiàn)性回歸練習(xí)) 摘要: 前言： 本節(jié)主要是練習(xí)regularization項(xiàng)的使用原則。因?yàn)樵跈C(jī)器學(xué)習(xí)的一些模型中，如果模型的參數(shù)太多，而訓(xùn)練樣本又太少的話(huà)，這樣訓(xùn)練出來(lái)的模型很容易產(chǎn)生過(guò)擬合現(xiàn)象。因此在模型的損失函數(shù)中，需要對(duì)模型的參數(shù)進(jìn)行“懲罰”，這樣的話(huà)這些參數(shù)就不會(huì)太大，而越小的參數(shù)說(shuō)明模型越簡(jiǎn)單，越簡(jiǎn)單的模型則越不容易產(chǎn)生過(guò)擬合現(xiàn)象。本文參考的資料參考網(wǎng)頁(yè)：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex5/ex5.html。主要是給定7個(gè)訓(xùn)練樣本點(diǎn)，需閱讀全文 posted @?2013-03-17 15:15?tornadomeet 閱讀(10336) |?評(píng)論 (4)?編輯 Deep learning：四(logistic regression練習(xí)) 摘要: 前言： 本節(jié)來(lái)練習(xí)下logistic regression相關(guān)內(nèi)容，參考的資料為網(wǎng)頁(yè)：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex4/ex4.html。這里給出的訓(xùn)練樣本的特征為80個(gè)學(xué)生的兩門(mén)功課的分?jǐn)?shù)，樣本值為對(duì)應(yīng)的同學(xué)是否允許被上大學(xué)，如果是允許的話(huà)則用’1’表示，否則不允許就用’0’表示，這是一個(gè)典型的二分類(lèi)問(wèn)題。在此問(wèn)題中，給出的80個(gè)樣本中正負(fù)樣本各占40個(gè)。而這節(jié)采用的是logistic regression來(lái)求解，該求解閱讀全文 posted @?2013-03-16 21:59?tornadomeet 閱讀(18388) |?評(píng)論 (9)?編輯 Deep learning：三(Multivariance Linear Regression練習(xí)) 摘要: 前言: 本文主要是來(lái)練習(xí)多變量線(xiàn)性回歸問(wèn)題(其實(shí)本文也就3個(gè)變量)，參考資料見(jiàn)網(wǎng)頁(yè)：http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex3/ex3.html.其實(shí)在上一篇博文Deep learning：二(linear regression練習(xí))中已經(jīng)簡(jiǎn)單介紹過(guò)一元線(xiàn)性回歸問(wèn)題的求解，但是那個(gè)時(shí)候用梯度下降法求解時(shí)，給出的學(xué)習(xí)率是固定的0.7.而本次實(shí)驗(yàn)中學(xué)習(xí)率需要自己來(lái)選擇，因此我們應(yīng)該從小到大（比如從0.001到10）來(lái)選擇，通過(guò)觀察損失值閱讀全文 posted @?2013-03-15 20:55?tornadomeet 閱讀(14013) |?評(píng)論 (17)?編輯 Deep learning：二(linear regression練習(xí)) 摘要: 前言 本文是多元線(xiàn)性回歸的練習(xí)，這里練習(xí)的是最簡(jiǎn)單的二元線(xiàn)性回歸，參考斯坦福大學(xué)的教學(xué)網(wǎng)http://openclassroom.stanford.edu/MainFolder/DocumentPage.php?course=DeepLearning&doc=exercises/ex2/ex2.html。本題給出的是50個(gè)數(shù)據(jù)樣本點(diǎn)，其中x為這50個(gè)小朋友到的年齡，年齡為2歲到8歲，年齡可有小數(shù)形式呈現(xiàn)。Y為這50個(gè)小朋友對(duì)應(yīng)的身高，當(dāng)然也是小數(shù)形式表示的。現(xiàn)在的問(wèn)題是要根據(jù)這50個(gè)訓(xùn)練樣本，估計(jì)出3.5歲和7歲時(shí)小孩子的身高。通過(guò)畫(huà)出訓(xùn)練樣本點(diǎn)的分布憑直覺(jué)可以發(fā)現(xiàn)這是一個(gè)典型的線(xiàn)性回閱讀全文 posted @?2013-03-15 16:20?tornadomeet 閱讀(22208) |?評(píng)論 (25)?編輯 Deep learning：一(基礎(chǔ)知識(shí)_1) 摘要: 前言: 最近打算稍微系統(tǒng)的學(xué)習(xí)下deep learing的一些理論知識(shí)，打算采用Andrew Ng的網(wǎng)頁(yè)教程UFLDL Tutorial，據(jù)說(shuō)這個(gè)教程寫(xiě)得淺顯易懂，也不太長(zhǎng)。不過(guò)在這這之前還是復(fù)習(xí)下machine learning的基礎(chǔ)知識(shí)，見(jiàn)網(wǎng)頁(yè)：http://openclassroom.stanford.edu/MainFolder/CoursePage.php?course=DeepLearning。內(nèi)容其實(shí)很短，每小節(jié)就那么幾分鐘，且講得非常棒。 教程中的一些術(shù)語(yǔ): Model representation: 其實(shí)就是指學(xué)習(xí)到的函數(shù)的表達(dá)形式，可以用矩陣表示。 Vecto...閱讀全文 posted @?2013-03-14 12:48?tornadomeet 閱讀(51530) |?評(píng)論 (11)?編輯

總結(jié)

以上是生活随笔為你收集整理的deeplearning URL的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。