深度学习阅读清单
-
圖書
- 深度學習，Yoshua Bengio，Ian Goodfellow，Aaron Courville，MIT Press，準備中。
-
評論文章
- ?代表性學習：評論與新視角，Yoshua Bengio，Aaron Courville，Pascal Vincent，Arxiv，2012。
- 專題或評論文章??學習人工智能的深層架構(gòu)??（基礎(chǔ)和機器學習趨勢，2009）。
- 深度機器學習 - 人工智能研究的新前沿 -??Itamar Arel，Derek C. Rose和Thomas P. Karnowski?的??調(diào)查報告。
- 格雷夫斯，答（2012年）。?用遞歸神經(jīng)網(wǎng)絡(luò)進行監(jiān)督序列標記（第385卷）。斯普林格。
- Schmidhuber，J.（2014）。神經(jīng)網(wǎng)絡(luò)的深度學習：概述。75頁，850+參考文獻，http：?//arxiv.org/abs/1404.7828，PDF＆LATEX??源代碼和http://www.idsia.ch/~juergen/?deep-learning-overview.html下的完整公共BIBTEX文件??。
- LeCun，Yann，Yoshua Bengio和Geoffrey Hinton。“深入的學習。”?自然?521，沒有。7553（2015）：436-444。
-
強化學習
- Mnih，Volodymyr，Koray Kavukcuoglu，David Silver，Alex Graves，Ioannis Antonoglou，Daan Wierstra和Martin Riedmiller。“通過深入強化學習玩Atari。”??arXiv預(yù)印本arXiv：1312.5602（2013）。
- Volodymyr Mnih，Nicolas Heess，Alex Graves，Koray Kavukcuoglu。“?視覺注意的復(fù)發(fā)模型?”ArXiv電子版，2014。
-
計算機視覺
- ImageNet深度卷積神經(jīng)網(wǎng)絡(luò)分類，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。
- 深入卷積，Christian Szegedy，劉偉，楊揚佳，Pierre Sermanet，Scott Reed，Dragomir Anguelov，Dumitru Erhan，Vincent Vanhoucke，Andrew Rabinovich，2014年9月19日。
- 學習場景標簽的分層特征，Clement Farabet，Camille Couprie，Laurent Najman和Yann LeCun，IEEE模式分析和機器智能匯刊，2013。
- ?學習用于視覺識別的卷積特征?Hierachies，Koray Kavukcuoglu，Pierre Sermanet，Y-Lan Boureau，Karol Gregor，Micha?lMathieu和Yann LeCun，神經(jīng)信息處理系統(tǒng)進展（NIPS 2010），23,2010。
- 格雷夫斯，亞歷克斯等人。?“A novel connectionist system for unconstrained handwriting recognition。”??Pattern Analysis and Machine Intelligence，IEEE Transactions on??31.5（2009）：855-868。
- Cire?an，DC，Meier，U.，Gambardella，LM，＆Schmidhuber，J.（2010）。?用于手寫數(shù)字識別的深，大，簡單的神經(jīng)網(wǎng)絡(luò)。?神經(jīng)計算，??22（12），3207-3220。
- Ciresan，Dan，Ueli Meier和JürgenSchmidhuber。?“用于圖像分類的多列深度神經(jīng)網(wǎng)絡(luò)”，??計算機視覺和模式識別（CVPR），2012年IEEE會議。IEEE，2012。
- Ciresan，D.，Meier，U.，Masci，J.，＆Schmidhuber，J。（2011年7月）。?交通標志分類神經(jīng)網(wǎng)絡(luò)委員會。?在??神經(jīng)網(wǎng)絡(luò)（IJCNN），2011年國際聯(lián)合會議上（pp。1918-1921??）。IEEE。
-
NLP和言語
- “開放文本語義分析的詞匯和意義表征的聯(lián)合學習”，Antoine Bordes，Xavier Glorot，Jason Weston和Yoshua Bengio（2012），第15屆國際人工智能和統(tǒng)計學會議（AISTATS）
- 動態(tài)匯集和展開遞歸自動編碼器以進行釋義檢測。Socher，R.，Huang，EH，Pennington，J.，Ng，AY和Manning，CD（2011a）。在NIPS'2011中。
- 用于預(yù)測情緒分布的半監(jiān)督遞歸自動編碼器。Socher，R.，Pennington，J.，Huang，EH，Ng，AY和Manning，CD（2011b）。在EMNLP'2011。
- MikolovTomá?：??基于神經(jīng)網(wǎng)絡(luò)的統(tǒng)計語言模型。博士論文，布爾諾科技大學，2012。
- Graves，Alex和JürgenSchmidhuber。“?使用雙向LSTM和其他神經(jīng)網(wǎng)絡(luò)架構(gòu)的幀式音素分類。“??神經(jīng)網(wǎng)絡(luò)??18.5（2005）：602-610。
- Mikolov，Tomas，Ilya Sutskever，Kai Chen，Greg S. Corrado和Jeff Dean。?“分布式表達的單詞和短語及其組合性”，在??神經(jīng)信息處理系統(tǒng)的進展，第3111-3119頁。2013。
- K. Cho，B. van Merrienboer，C. Gulcehre，D. Bahdanau，F. Bougares，H. Schwenk，Y. Bengio。?使用RNN編碼器 - 解碼器來學習用于統(tǒng)計機器翻譯的短語表示。EMNLP 2014。
- Sutskever，Ilya，Oriol Vinyals和Quoc VV Le。“?序列學習與神經(jīng)網(wǎng)絡(luò)。”??神經(jīng)信息處理系統(tǒng)的進展。2014年
-
消除因素和深度變化
- Goodfellow，Ian等人。“測量深度網(wǎng)絡(luò)中的不變性”??。神經(jīng)信息處理系統(tǒng)進展22（2009）：646-654。
- Bengio，Yoshua等人。“通過深度表現(xiàn)更好地混合。”??arXiv預(yù)印本arXiv：1207.4404（2012）。
- Xavier Glorot，??Antoine Bordes??和??Yoshua Bengio，“??大規(guī)模情緒分類的域適應(yīng)：深度學習方法”，載于：第二十八屆國際機器學習會議論文集（ICML'11），第97-110頁，2011年。
-
轉(zhuǎn)移學習和域名適應(yīng)
- Raina，Rajat等人。“自學教學：從無標簽數(shù)據(jù)轉(zhuǎn)移學習”??，第24屆機器學習國際會議論文集。ACM，2007。
- Xavier Glorot，??Antoine Bordes??和??Yoshua Bengio，“??大規(guī)模情緒分類的域適應(yīng)：深度學習方法”，載于：第二十八屆國際機器學習會議論文集（ICML'11），第97-110頁，2011年。
- R. Collobert，J.Weston，L.Bottou，M.Karlen，K.Kavukcuoglu和P.Kuksa。?自然語言處理（幾乎）從頭開始。?Journal of Machine Learning Research，12：2493-2537，2011。
- Mesnil，Grégoire等人。“無監(jiān)督和轉(zhuǎn)移學習挑戰(zhàn)：深度學習方法”。??無監(jiān)督和轉(zhuǎn)移學習研討會，與ICML一起。2011。
- Ciresan，DC，Meier，U。和Schmidhuber，J。（2012年6月）。?用深度神經(jīng)網(wǎng)絡(luò)為拉丁文和中文字符轉(zhuǎn)換學習。在??神經(jīng)網(wǎng)絡(luò)（IJCNN），在2012年國際聯(lián)合大會??（第1-6頁）。IEEE。
- Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“?大規(guī)模特征學習的尖峰和板坯稀疏編碼。“??ICML 2012。
-
實用技巧和指南
- “通過防止特征探測器的共同適應(yīng)改善神經(jīng)網(wǎng)絡(luò)。”??Hinton，Geoffrey E.等，arXiv預(yù)印本arXiv：1207.0580（2012）。
- 關(guān)于深度架構(gòu)梯度訓練的實用建議，Yoshua Bengio，U. Montreal，arXiv報告：1206.5533，計算機科學講義7700，神經(jīng)網(wǎng)絡(luò)：交易技巧第二版，編輯：GrégoireMontavon，GenevièveB. Orr ，Klaus-RobertMüller，2012年。
- ?由Geoffrey Hinton撰寫的一本關(guān)于培訓Restricted Boltzmann Machines的實用??指南。
-
稀疏編碼
- 通過學習自然圖像的稀疏編碼，Bruno Olhausen，Nature 1996?發(fā)表簡單細胞感受野性質(zhì)。
- Kavukcuoglu，Koray，Marc'Aurelio Ranzato和Yann LeCun。“?稀疏編碼算法與應(yīng)用程序?qū)ξ矬w識別的快速推導(dǎo)。“??arXiv預(yù)印本arXiv：1010.3467??（2010）。
- Goodfellow，Ian，Aaron Courville和Yoshua Bengio。“?大規(guī)模特征學習的尖峰和板坯稀疏編碼。“??ICML 2012。
- 高效的稀疏編碼算法。Honglak Lee，Alexis Battle，Raina Rajat和Andrew Y. Ng。在??NIPS 19，2007.??PDF
- “?基于過度完備的稀疏編碼：VI？采用的策略。“。奧爾斯豪森，布魯諾A.和戴維J.菲爾德。?Vision research37.23（1997）：3311-3326。
-
基礎(chǔ)理論與動機
- Hinton，Geoffrey E.“確定性Boltzmann學習在加權(quán)空間中執(zhí)行最速下降”，??神經(jīng)計算1.1（1989）：143-150。
- Bengio，Yoshua和Samy Bengio。“用多層神經(jīng)網(wǎng)絡(luò)建模高維離散數(shù)據(jù)。”??Advances in Neural Information Processing Systems12（2000）：400-406。
- Bengio，Yoshua等人。“深層網(wǎng)絡(luò)的貪婪分層訓練。”??神經(jīng)信息處理系統(tǒng)的進展19（2007）：153。
- Bengio，Yoshua，Martin Monperrus和Hugo Larochelle。“流形結(jié)構(gòu)的非局部估計。”??Neural Computation18.10（2006）：2509-2528。
- Hinton，Geoffrey E.和Ruslan R. Salakhutdinov。“用神經(jīng)網(wǎng)絡(luò)降低數(shù)據(jù)的維度”，??科學313.5786（2006）：504-507。
- Marc'Aurelio Ranzato，Y.，Lan Boureau和Yann LeCun。“Sparse feature learning for deep belief networks。”??Advances in neural information processing systems20（2007）：1185-1192。
- Bengio，Yoshua和Yann LeCun。“擴大對AI的學習算法”，??大型內(nèi)核機器34（2007）。
- Le Roux，Nicolas和Yoshua Bengio。“限制?玻爾茲曼機器和深層信念網(wǎng)絡(luò)的表征能力”，??Neural Computation20.6（2008）：1631-1649。
- Sutskever，Ilya和Geoffrey Hinton。“時間 - 內(nèi)核遞歸神經(jīng)網(wǎng)絡(luò)”，??神經(jīng)網(wǎng)絡(luò)23.2（2010）：239-243。
- Le Roux，Nicolas和Yoshua Bengio。“深層信念網(wǎng)絡(luò)是緊湊型通用逼近器。”??神經(jīng)計算22.8（2010）：2192-2207。
- Bengio，Yoshua和Olivier Delalleau。“關(guān)于深層架構(gòu)的表現(xiàn)力。”??算法學習理論。斯普林格柏林/海德堡，2011年。
- Montufar，Guido F.和Jason Morton。“產(chǎn)品混合物何時含有混合物產(chǎn)品？”??arXiv預(yù)印本arXiv：1206.0387（2012）。
- 蒙圖法，圭多，拉斯萬帕斯卡努，京仁祖和Yoshua Bengio。“?關(guān)于深度神經(jīng)網(wǎng)絡(luò)的線性區(qū)域的數(shù)量。”arXiv預(yù)印本arXiv：1402.1869（2014）。
-
受監(jiān)督的Feedfoward神經(jīng)網(wǎng)絡(luò)
- Manifold Tangent Classifier，Salah Rifai，Yann Dauphin，Pascal Vincent，Yoshua Bengio和Xavier Muller在：NIPS'2011。
- “?Sum-Product Networks的判別式學習。“，Gens，Robert和Pedro Domingos，NIPS 2012最佳學生論文。
- Goodfellow，I.，Warde-Farley，D.，Mirza，M.，Courville，A.和Bengio，Y。（2013）。?Maxout網(wǎng)絡(luò)。技術(shù)報告，蒙特利爾大學。
- Hinton，Geoffrey E.等人。“?通過防止特征探測器的共同適應(yīng)改善神經(jīng)網(wǎng)絡(luò)。”??arXiv預(yù)印本arXiv：1207.0580（2012）。
- 王斯達和克里斯托弗曼寧。“快速輟學培訓”??。第30屆國際機器學習會議論文集（ICML-13），第118-126頁。2013。
- Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“?Deep sparse rectifier networks。”在??第14屆國際人工智能與統(tǒng)計學會議論文集中。JMLR W＆CP Volume，vol。15，pp.315-323。2011。
- ImageNet深度卷積神經(jīng)網(wǎng)絡(luò)分類，Alex Krizhevsky，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。
-
大規(guī)模深度學習
- 使用大規(guī)模無監(jiān)督學習構(gòu)建高級功能??Quoc V. Le，Marc'Aurelio Ranzato，Rajat Monga，Matthieu Devin，Kai Chen，Greg S. Corrado，Jeffrey Dean和Andrew Y. Ng，ICML 2012。
- Bengio，Yoshua等人。“?神經(jīng)概率語言模型。“??機器學習創(chuàng)新??（2006）：137-186。具體來說，本文的第3節(jié)討論了異步SGD。
- Dean，Jeffrey等人。?“大規(guī)模分布式深度網(wǎng)絡(luò)”??，神經(jīng)信息處理系統(tǒng)的進展。2012。
-
經(jīng)常性網(wǎng)絡(luò)
- 訓練周期性神經(jīng)網(wǎng)絡(luò)，Ilya Sutskever，博士論文，2012。
- Bengio，Yoshua，Patrice Simard和Paolo Frasconi。?“利用梯度下降學習長期依賴是困難的。”??Neural Networks，IEEE Transactions on??5.2（1994）：157-166。
- MikolovTomá?：??基于神經(jīng)網(wǎng)絡(luò)的統(tǒng)計語言模型。博士論文，布爾諾科技大學，2012。
- Hochreiter，Sepp和JürgenSchmidhuber。“長期的短期記憶。”??Neural computation9.8（1997）：1735-1780。
- Hochreiter，S.，Bengio，Y.，Frasconi，P.，＆Schmidhuber，J。（2001）。?循環(huán)網(wǎng)絡(luò)中的漸變流：學習長期依賴性的困難。
- Schmidhuber，J.（1992）。?使用歷史壓縮原理學習復(fù)雜的擴展序列。?神經(jīng)計算，??4（2），234-242。
- Graves，A.，Fernández，S.，Gomez，F.，＆Schmidhuber，J。（2006年6月）。?Connectionist時間分類：用遞歸神經(jīng)網(wǎng)絡(luò)標記未分段的序列數(shù)據(jù)。在??第23屆機器學習國際會議論文集??（第369-376頁）中。ACM。
-
超參數(shù)
- “機器學習算法的實用貝葉斯優(yōu)化”，Jasper Snoek，Hugo Larochelle，Ryan Adams，NIPS 2012。
- 隨機搜索超參數(shù)優(yōu)化，James Bergstra和Yoshua Bengio（2012），機器學習研究期刊，13（281-305）。
- 用于超參數(shù)優(yōu)化的算法，James Bergstra，RémyBardenet，Yoshua Bengio和BalázsKégl在：NIPS'2011,2011。
-
優(yōu)化
- 使用Hessian-Free優(yōu)化訓練深度和復(fù)發(fā)性神經(jīng)網(wǎng)絡(luò)，James Martens和Ilya Sutskever，神經(jīng)網(wǎng)絡(luò)：2012年貿(mào)易技巧。
- Schaul，Tom，Sixin Zhang和Yann LeCun。?“沒有更多的Pesky學習率。”??arXiv預(yù)印本arXiv：1206.1106??（2012）。
- Le Roux，Nicolas，Pierre-Antoine Manzagol和Yoshua Bengio。“?Topmoumoute在線自然梯度算法”。??神經(jīng)信息處理系統(tǒng)（NIPS）。2007年。
- Bordes，Antoine，LéonBottou和Patrick Gallinari。“?SGD-QN：謹慎的準牛頓隨機梯度下降?”??，機器學習研究雜志??10（2009）：1737-1754。
- Glorot，Xavier和Yoshua Bengio。?“了解訓練深度前饋神經(jīng)網(wǎng)絡(luò)的難度。”??國際人工智能與統(tǒng)計學會議論文集（AISTATS'10）。人工智能與統(tǒng)計學會。2010。
- Glorot，Xavier，Antoine Bordes和Yoshua Bengio。“?深稀疏整流器網(wǎng)絡(luò)。“??第14屆國際人工智能與統(tǒng)計學會議論文集。JMLR W＆CP卷。卷。15. 2011年。
- “通過Hessian優(yōu)化深入學習。”??Martens，James。第27屆國際機器學習會議論文集（ICML）。卷。951. 2010年。
- Hochreiter，Sepp和JürgenSchmidhuber。?“Flat minima。”??Neural Computation，??9.1（1997）：1-42。
- Pascanu，Razvan和Yoshua Bengio。“?重溫深層網(wǎng)絡(luò)的自然梯度。”??arXiv預(yù)印本arXiv：1301.3584（2013）。
- Dauphin，Yann N.，Razvan Pascanu，Caglar Gulcehre，Kyunghyun Cho，Surya Ganguli和Yoshua Bengio。“?識別和攻擊高維非凸優(yōu)化中的鞍點問題。“In??Advances in Neural Information Processing Systems?，pp.2933-2941。2014年
-
無監(jiān)督特征學習
- Salakhutdinov，Ruslan和Geoffrey E. Hinton。?“深玻爾茲曼機器。”??人工智能和統(tǒng)計國際會議論文集。卷。5.第2號。麻省劍橋：麻省理工學院出版社，2009年。
- ?關(guān)于深信仰網(wǎng)絡(luò)的Scholarpedia頁面。
-
深玻爾茲曼機器
- 深玻耳茲曼機器的有效學習過程，Ruslan Salakhutdinov和Geoffrey Hinton，神經(jīng)計算2012年8月，24，第8期：1967 - 2006。
- Montavon，Grégoire和Klaus-RobertMüller。“?深玻耳茲曼機器和中心技巧。“??神經(jīng)網(wǎng)絡(luò)：貿(mào)易技巧??（2012）：621-637。
- Salakhutdinov，Ruslan和Hugo Larochelle。“?深玻爾茲曼機器的高效學習。“??人工智能和統(tǒng)計國際會議。2010。
- Salakhutdinov，Ruslan。?學習深度生成模型。迪斯。多倫多大學，2009年。
- Goodfellow，Ian等人。“?多預(yù)測深玻爾茲曼機器。”??神經(jīng)信息處理系統(tǒng)的進展。2013。
-
RBMS
- Spike-and-Slab RBM的圖像無監(jiān)督模型，Aaron Courville，James Bergstra和Yoshua Bengio在：ICML'2011
- 欣頓，杰弗里。?“培訓受限玻爾茲曼機器的實用指南。“??動量??9.1（2010）：926。
-
自動編碼
- 正規(guī)化自動編碼器估計當?shù)亟y(tǒng)計數(shù)據(jù)，Guillaume Alain，Yoshua Bengio和Salah Rifai，蒙特利爾大學arXiv報告1211.4246,2012
- 一個生成過程的抽樣壓縮自動編碼器，Salah Rifai，Yoshua Bengio，Yann Dauphin和Pascal Vincent在：ICML'2012，愛丁堡，蘇格蘭，英國，2012年
- 合同自動編碼器：特征提取期間的顯式不變性，Salah Rifai，Pascal Vincent，Xavier Muller，Xavier Glorot和Yoshua Bengio，在：ICML'2011
- 面部表情識別的變異因素，Salah Rifai，Yoshua Bengio，Aaron Courville，Pascal Vincent和Mehdi Mirza，在：ECCV'2012。
- 文森特，帕斯卡爾等人。“?堆疊去噪自動編碼器：使用本地去噪標準在深度網(wǎng)絡(luò)中學習有用的表示。“??機器學習研究雜志??11（2010）：3371-3408。
- 文森特，帕斯卡爾。“?分數(shù)匹配和去噪自動編碼器之間的聯(lián)系。”??神經(jīng)計算??23.7（2011）：1661-1674。
- 陳敏敏等?“?用于域適應(yīng)的邊緣化去噪自動編碼器。“??arXiv預(yù)印本arXiv：1206.4683??（2012）。
-
雜
- ICML 2009學習要點層次結(jié)構(gòu)??網(wǎng)頁??有一個??閱讀列表。
- 斯坦福大學的??UFLDL推薦讀物。
- 該??LISA?公開的維基??有一個??閱讀清單??和??參考書目。
- Geoff Hinton??有??閱讀?NIPS 2007教程。
- LISA出版物數(shù)據(jù)庫包含??深層架構(gòu)??類別。
- ?在??Yoshua Bengio的??IFT6266研究生課程中簡要介紹??AI，機器學習和??深度學習
- Memkite的深度學習閱讀列表，http：//memkite.com/deep-learning-bibliography/。
- 深度學習資源頁面，??http://www.jeremydjacksonphd.com/?cat=7
轉(zhuǎn)載于:https://www.cnblogs.com/noticeable/p/9242674.html
《新程序員》：云原生和全面數(shù)字化實踐50位技術(shù)專家共同創(chuàng)作，文字、視頻、音頻交互閱讀總結(jié)
- 上一篇： @ngrx入坑angular的schem
- 下一篇： Java并发编程：进程和线程之由来