深度学习资料挑的眼花啦?小夕帮你做选择!
小夕還記得幾年前剛?cè)肟拥臅r(shí)候,老師給的入門(mén)資料就是一堆論文!害的小夕差點(diǎn)放棄。。。
如今深度學(xué)習(xí)應(yīng)用的開(kāi)發(fā)成本越來(lái)越低,學(xué)習(xí)資料越來(lái)越多,于是對(duì)初學(xué)者來(lái)說(shuō)進(jìn)入了另一個(gè)相反的困境——資料過(guò)多,讓人眼花繚亂!哪怕是最最經(jīng)典、頂尖的公開(kāi)課。也是有好多門(mén)(斯坦福的、coursera的、MIT的、Berkeley的……)。更不必說(shuō)眼花繚亂的紙質(zhì)書(shū)籍,更更不用說(shuō)鋪天蓋地的訂閱號(hào)(比如夕小瑤的賣(mài)萌屋)
如果你正在糾結(jié)如何去選擇,不妨先看看小夕的推薦~
首先,小夕沒(méi)有提到的資料,要么就是小夕沒(méi)有看過(guò)的,要么就是難以說(shuō)好壞的,所以沒(méi)提到的資料要自己判斷哦,不代表資料不好~
另外嚴(yán)正聲明!小夕沒(méi)有收一分廣告費(fèi)!這!不!是!廣!告!文!沒(méi)認(rèn)真看過(guò)的資料小夕是不會(huì)瞎推的!
下面小夕就從視頻資料、書(shū)籍資料、其它資料給大家分別推薦啦。
視頻資料方面,小夕就不多推薦啦,因?yàn)榭匆曨l真的是很磨時(shí)間的學(xué)習(xí)方式。就提一下三門(mén)課:
1、coursera上Ng開(kāi)設(shè)的機(jī)器學(xué)習(xí)。
https://www.coursera.org/learn/machine-learning/
如果在入門(mén)深度學(xué)習(xí)之前都沒(méi)有接觸過(guò)機(jī)器學(xué)習(xí)的話(huà),那么這門(mén)課是小夕建議十分有必要聽(tīng)的~尤其是課程的好幾個(gè)大作業(yè),Ng已經(jīng)給你寫(xiě)好的框架也要好好看,這對(duì)于摸清行業(yè)基本工程框架是十分有幫助的~可以說(shuō)是理論與工程雙收的入門(mén)教程。當(dāng)然,已經(jīng)入門(mén)的就忽略吧。
2、斯坦福大學(xué)的公開(kāi)課CS231n(深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué))。
http://cs231n.stanford.edu/
小夕是做自然語(yǔ)言處理(NLP)的,所以早就聽(tīng)說(shuō)了這門(mén)課但是一直也沒(méi)有去看。最近也是刷了幾節(jié),感覺(jué)非視覺(jué)方向的小伙伴聽(tīng)一聽(tīng)也是有幫助的~不過(guò)個(gè)人覺(jué)得非視覺(jué)方向的,又不是有大把時(shí)間的,就不用太心心念這門(mén)課啦,這門(mén)課的更高效的替代品還是蠻多的。視覺(jué)方向的剛要入門(mén)的去刷就非常合適了。
3、斯坦福大學(xué)的公開(kāi)課CS224d(深度學(xué)習(xí)與自然語(yǔ)言處理)。
http://cs224d.stanford.edu/syllabus.html
這門(mén)課是深度學(xué)習(xí)與自然語(yǔ)言處理的結(jié)合,開(kāi)課老師是NLP領(lǐng)域的天才級(jí)大牛Richard Socher,幾乎各種遞歸網(wǎng)絡(luò)的提出者。NLP方向的小伙伴要入門(mén)深度學(xué)習(xí)的話(huà),看這門(mén)課是很合適的,小夕也刷完了,畢竟詞向量這些概念的特性理解不透的話(huà),CNN、RNN理解的再好也很容易瓶頸了。不過(guò)這門(mén)課對(duì)CNN在NLP領(lǐng)域的應(yīng)用講的不多,還是建議剛?cè)腴T(mén)的初學(xué)者刷一刷,已經(jīng)入門(mén)的就不用啦,太浪費(fèi)時(shí)間。
4、coursera上Ng開(kāi)設(shè)的Neural networks and deep learning。
https://www.coursera.org/specializations/deep-learning
這門(mén)課實(shí)在太太太火,小夕也是前幾天抽出時(shí)間來(lái)挑著看了些,主要集中在第二、三章節(jié)上。發(fā)現(xiàn)這門(mén)課第二章節(jié)的內(nèi)容跟Ng的《machine learning yearning》好好好像啊,甚至插圖都沒(méi)有變太多 =.= 對(duì)于初學(xué)者來(lái)說(shuō),這門(mén)課的內(nèi)容是以后進(jìn)行工程所不可或缺的,十分建議這門(mén)課和《machine learning yearning》最少要挑一個(gè)看!尤其是bias-variant trade-off理論,沒(méi)有人比Ng講的更清楚了。
對(duì)視頻資料總結(jié)一下,如果是一個(gè)完全態(tài)的新手,那么Ng的機(jī)器學(xué)習(xí)是十分有必要認(rèn)真看的(是說(shuō)認(rèn)真看大作業(yè)的代碼!不僅僅是視頻!)。如果有機(jī)器學(xué)習(xí)基礎(chǔ)了,但是深度學(xué)習(xí)是個(gè)小白,神經(jīng)網(wǎng)絡(luò)也理解很少,數(shù)學(xué)也不怎么樣,那么Ng的Neural networks and deep learning刷了絕對(duì)大有收獲的~如果機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的基礎(chǔ)都有了,但是缺乏某一應(yīng)用領(lǐng)域的應(yīng)用套路,那么有時(shí)間可以刷CS231n或者cs224d,沒(méi)時(shí)間也無(wú)所謂的,繼續(xù)往下看啦~
紙質(zhì)書(shū)籍方面,由于我們目標(biāo)是深度學(xué)習(xí)的應(yīng)用!而且精力有限!所以在書(shū)籍上的功夫一定要少而精。小夕力推兩本,這兩本也是小夕除了論文外,80%的知識(shí)來(lái)源~(算上論文也能占40%啦)
1、《Deep learning》,中文叫《深度學(xué)習(xí)》,已經(jīng)開(kāi)售了(應(yīng)該沒(méi)有人不知道吧)。
這本書(shū)的價(jià)值和權(quán)威性不用我啰嗦。但是!我要吐槽一下,我覺(jué)得這本書(shū)除了主流的深度學(xué)習(xí)模型講的很一般以外,其它大部分章節(jié)還是挺好的!如果你看這本書(shū)的第9、10章學(xué)習(xí)CNN、RNN的時(shí)候感覺(jué)亂糟糟的,要么感覺(jué)太過(guò)啰嗦缺乏核心,要么感覺(jué)“天吶怎么一帶而過(guò)了”,那么不要懷疑自己的智商,因?yàn)樾∠σ矐岩蛇^(guò)自己的智商了 =.= 。這些章節(jié)主要就用來(lái)索引論文吧。(當(dāng)然如果你覺(jué)得講的棒呆了,恭喜你跟作者心有靈犀)
但是,這本書(shū)的6、7、8章還是很棒的!第一部分寫(xiě)數(shù)學(xué)基礎(chǔ)的那幾章也是言簡(jiǎn)意賅,恰到好處。總之“深度前饋網(wǎng)絡(luò)”、“正則化”、“優(yōu)化”這幾章值得細(xì)細(xì)讀的~
另外,不要以為看完這本書(shū)你就對(duì)深度學(xué)習(xí)無(wú)所不能了,實(shí)際上還差很遠(yuǎn)吶。這本書(shū)的價(jià)值在于讓你低成本(高效率)的補(bǔ)上最近幾年的主要理論成果,免得自己面對(duì)數(shù)百篇重要論文無(wú)從下手。順便提供了一個(gè)論文索引。工程能力的get要看下面這本神書(shū)!
2、《Hands On MachineLearning with Scikit Learn and TensorFlow》。
這本書(shū)是小夕秘藏好久的書(shū)籍!遇到它時(shí)也是緣分啦,有一次在Google瞎搜,結(jié)果出來(lái)一個(gè)“safari books online”的神奇網(wǎng)站,寶寶用了多年Safari,都沒(méi)有發(fā)現(xiàn)它還有這種地方!于是點(diǎn)進(jìn)去,
?
噫?果然是個(gè)神奇的地方!然后就習(xí)慣性的去找人工智能、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等分類(lèi)的書(shū)了。然后當(dāng)時(shí)看到了相關(guān)主題的熱搜,當(dāng)時(shí)的top1就是這本書(shū)!好奇之下點(diǎn)進(jìn)去試讀,然后就中毒了。。。
不過(guò)不用擔(dān)心價(jià)格問(wèn)題,只要你有書(shū)名,你懂嗒( ̄? ̄)
這本書(shū)真的是深度學(xué)習(xí)在工程應(yīng)用上的神器!有很多工程tricks,比如工程上怎么初始化啦、怎么選擇激活函數(shù)啦、批量歸一化什么時(shí)候用之類(lèi)的很現(xiàn)實(shí)的問(wèn)題基本都能在這里找到答案!它又不同于《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》這種堆砌代碼的書(shū)籍,它的理論講解也很棒!整本書(shū)的組織也是循循善誘,代碼什么的與理論和實(shí)驗(yàn)融為一體,而且最重要的是它也會(huì)給出大量的參考論文!論文都會(huì)在當(dāng)頁(yè)的下方給出,簡(jiǎn)直發(fā)現(xiàn)新大陸不能更方便了!
哦對(duì)了,這本書(shū)的前半部分是統(tǒng)計(jì)機(jī)器學(xué)習(xí),后半部分是深度學(xué)習(xí)。小夕只看了深度學(xué)習(xí)部分。對(duì)于還沒(méi)有用過(guò)統(tǒng)計(jì)機(jī)器學(xué)習(xí)模型如SVM解決過(guò)工程問(wèn)題的同學(xué)來(lái)說(shuō),前半部分也是神器了!所以超級(jí)初學(xué)者上完Ng的機(jī)器學(xué)習(xí)后,來(lái)這本書(shū)的前半部分深入學(xué)習(xí)簡(jiǎn)直不能更高效了。
對(duì)書(shū)籍資料總結(jié)一下,只要你要做深度學(xué)習(xí)了,理論書(shū)方面目前最佳還是《deeplearning》。但是不要迷信部分章節(jié)的講解力,該啃參考論文就啃論文!大部分論文會(huì)比書(shū)上講的清晰很多(除了某些思維實(shí)在難以讓人理解的大牛的論文)。工程上的主力書(shū),小夕只推《Hands On Machine Learning with Scikit Learn and TensorFlow》。超級(jí)新手順便把前半部分也挑著看一下,一般性初學(xué)者和工程經(jīng)驗(yàn)不太豐富的小伙伴好好看后半部分吧(尤其"training deep neural nets"那一章)
其它資料方面,力推兩個(gè)。
1、Udacity的深度學(xué)習(xí)課程里的projects。
https://github.com/udacity/deep-learning
如果深度學(xué)習(xí)工程能力僅僅停留在demo層面,還沒(méi)有自主做過(guò)大型demo或者說(shuō)小型project,然后又覺(jué)得沒(méi)有人帶著無(wú)從下手,那么Udacity里的這些projects會(huì)把你感動(dòng)哭的!
project從計(jì)算機(jī)視覺(jué)到自然語(yǔ)言處理,都有很典型的應(yīng)用場(chǎng)景。而且每個(gè)project都是已經(jīng)給定了框架,說(shuō)明文檔非常詳細(xì),大部分工程的代碼組織的也很棒,小夕前不久(前好久)說(shuō)的閉關(guān)修煉就是指的在這里刷projects!收獲非常非常大!而且小夕有幸聽(tīng)了這個(gè)課程配套的幾節(jié)課,簡(jiǎn)直不要太友好,有經(jīng)濟(jì)條件的同學(xué)來(lái)刷一下Udacity的《deep learning》課程收獲或許比CS231和CS224多。(Udacity是不是該給我點(diǎn)廣告費(fèi)(。 ?︿ ?。))
2、各類(lèi)知識(shí)分享平臺(tái)和企業(yè)媒體。(2020年更新:此節(jié)內(nèi)容已過(guò)時(shí)
有很多各種推薦AI領(lǐng)域新聞的訂閱號(hào)大V我就不說(shuō)啦,自己取舍~最后留在小夕手機(jī)里的,最常刷的,一個(gè)是之前在知乎上已經(jīng)寫(xiě)過(guò)的Quora,還有一個(gè)是“雷鋒網(wǎng)”APP。發(fā)現(xiàn)這個(gè)確實(shí)存在干貨的媒體也是通過(guò)某個(gè)大神的一篇文章(過(guò)一陣子的推送中就會(huì)提到這篇文章)然后就連帶著在這個(gè)媒體的APP里刷出來(lái)很多確實(shí)存在良心干貨的文章!這跟那些一談技術(shù)就滿(mǎn)篇浮夸和錯(cuò)誤的媒體比起來(lái)簡(jiǎn)直不能要求更多了。
也有很多專(zhuān)注寫(xiě)干貨的微信訂閱號(hào),小夕覺(jué)得很良心的有憶臻小哥哥的《機(jī)器學(xué)習(xí)算法與自然語(yǔ)言處理》、還有《哈工大SCIR》(自然語(yǔ)言處理的多一些),有時(shí)還會(huì)去周立“小叔叔”的《交互設(shè)計(jì)前端開(kāi)發(fā)與后端程序設(shè)計(jì)》玩耍( ̄? ̄)
其它資料總結(jié):Udacity的deeplearning課程projects會(huì)給已經(jīng)入門(mén)的小伙伴帶去驚喜的~閑暇時(shí)間刷刷Quora、雷鋒網(wǎng)還有上述幾個(gè)良心訂閱號(hào)容易撞到停不下來(lái)的干貨哦。
大總結(jié):堅(jiān)持看到最后的一定是真愛(ài) \(//?//)\
總結(jié)
以上是生活随笔為你收集整理的深度学习资料挑的眼花啦?小夕帮你做选择!的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 你的 GNN,可能 99% 的参数都是冗
- 下一篇: 机器学习竞赛中,为什么GBDT往往比深度