謝謝你們。小夕昨晚又熬夜被發(fā)現(xiàn)了，謝謝對(duì)小夕的關(guān)心...

有你們陪著，小夕很幸運(yùn)。

路人乙：“小夕，別人都說上完coursera上的那門機(jī)器學(xué)習(xí)課就已經(jīng)入門機(jī)器學(xué)習(xí)了，可你又不這樣認(rèn)為。那你認(rèn)為上完那門課，或者說學(xué)完上一篇的階段一，處于什么水平呢？”

小夕：“大忽悠水平。”

前言

?2333，小夕沒有開玩笑哦，coursera那門課是為了幫助大家從整體上了解一下機(jī)器學(xué)習(xí)大框架，并培養(yǎng)興趣。而僅僅完成階段一的話，其實(shí)對(duì)企業(yè)而言幾乎是毫無(wú)價(jià)值的，啃論文也會(huì)寸步難行的呢。

?

那么完成階段二以后是處于什么水平呢？當(dāng)然是真正的機(jī)器學(xué)習(xí)入門水平啦~

只要您認(rèn)真學(xué)、認(rèn)真總結(jié)了，相信此時(shí)配合您的編程能力，就可以嘗試自己實(shí)現(xiàn)機(jī)器學(xué)習(xí)模型啦。調(diào)用別人寫好的API，也會(huì)胸有成竹啦，而不是將其看作黑匣子了。

對(duì)于應(yīng)用場(chǎng)景來(lái)說，完成該階段就可以轉(zhuǎn)行去做數(shù)據(jù)挖掘（DM）了，但要做計(jì)算機(jī)視覺（CV）、自然語(yǔ)言處理（NLP）中的模式識(shí)別問題的話，還不夠哦~

所以說，小夕將東西放在這里咯，剩下的就靠各聰明的你們用探索欲去完成啦~

?

還有哦，在正式開始階段二之前，小夕強(qiáng)烈建議您將階段一中的matlab代碼實(shí)現(xiàn)的機(jī)器學(xué)習(xí)算法再重新看一遍吶。不要光看你寫的！更重要的是看老師給寫好的大框架！甚至可以打開某個(gè)matlab內(nèi)置的庫(kù)函數(shù)感受一下！

?

階段二

---

?概率與統(tǒng)計(jì)

• 前置課程

• • 微積分

• 主參考資料

• • 《概率論與數(shù)理統(tǒng)計(jì)》陳希孺（注意不是浙大的那本！）

• 重點(diǎn)內(nèi)容：

• • 整本書！

• 學(xué)習(xí)方法
  這本書寫的超棒！雖然學(xué)校的概率統(tǒng)計(jì)用的浙大那本教材，但是學(xué)完也有好多地方似懂非懂。直到在圖書館無(wú)意間遇到了這本書。。。所以認(rèn)真讀咯，是不是一想到小夕也讀過這本書，就迫不及待想開始了呢【捂臉】

• 主要意義
  這門課程不需要談意義了吧╮(╯▽╰)╭這門課都沒有掌握，那只能處于計(jì)劃一的大忽悠水平咯~

---

最優(yōu)化算法-上

• 前置課程

• • 微積分（高等數(shù)學(xué)）

  • 線性代數(shù)

• 主參考資料

• • 《Deep Learning》第四章（中文版鏈接見手冊(cè)（一））

  • 《Numerical Optimization》Jorge?Nocedal等

• 輔助參考資料
  《最優(yōu)化理論與方法》袁亞湘，孫文瑜（這本書已絕版，但某寶有賣復(fù)刻版；在學(xué)校的同學(xué)可去圖書館借，沒收藏這本書的大學(xué)應(yīng)該可以取消數(shù)學(xué)和計(jì)算機(jī)專業(yè)了吧）

• 重點(diǎn)內(nèi)容：

• • 一階無(wú)約束優(yōu)化算法

  • • 梯度下降法（簡(jiǎn)單了解步長(zhǎng)的確定方法）

  • 二階無(wú)約束優(yōu)化算法

  • • 牛頓法

  • 約束優(yōu)化算法

  • • 線性規(guī)劃概念與應(yīng)用

    • 二次規(guī)劃概念與應(yīng)用

    • 拉格朗日乘子法的簡(jiǎn)單認(rèn)識(shí)

• 高級(jí)內(nèi)容（依照自身數(shù)學(xué)基礎(chǔ)，盡可能深的理解）

• • 一階無(wú)約束優(yōu)化算法

  • • 梯度下降法（僅掌握線搜索法，學(xué)嗨了可以看信賴域法）

  • 二階無(wú)約束優(yōu)化算法

  • • 共軛梯度法

    • 擬牛頓法

  • 約束優(yōu)化算法

  • • 線性規(guī)劃（僅掌握單純形法，學(xué)嗨了可以看內(nèi)點(diǎn)法）

    • 二次規(guī)劃（僅掌握對(duì)偶法，學(xué)嗨了可以看積極集法）

• 學(xué)習(xí)方法

小夕考慮到最優(yōu)化算法對(duì)機(jī)器學(xué)習(xí)而言雖然至關(guān)重要，但是對(duì)數(shù)學(xué)基礎(chǔ)要求很高。因此在本計(jì)劃中采用個(gè)性化定制的方式：

如果您的數(shù)學(xué)基礎(chǔ)很好，強(qiáng)烈建議您盡可能的完成高級(jí)內(nèi)容，這對(duì)后面機(jī)器學(xué)習(xí)算法的透徹理解極其重要。

如果您的數(shù)學(xué)基礎(chǔ)不夠，只需完成重點(diǎn)內(nèi)容即可。但是希望在業(yè)余再加深一下對(duì)微積分、線性代數(shù)等知識(shí)的理解哦~方便以后突破瓶頸吶。

對(duì)于重點(diǎn)內(nèi)容，只需要認(rèn)真研究理解《Deep Learning》中的4.3節(jié)和4.4節(jié)，這兩節(jié)信息量很大，請(qǐng)務(wù)必認(rèn)真閱讀每一句話。如果這兩節(jié)都感到寸步難行的話，請(qǐng)補(bǔ)習(xí)最優(yōu)化的前置課程哦。

對(duì)于高級(jí)內(nèi)容，《Numerical?Optimazation》是極其合適的，這本書很偏工程實(shí)踐，講了很多practical的問題。也是我們學(xué)校最優(yōu)化課的教材。這本書貌似沒有中文版，不過相信您的數(shù)學(xué)基礎(chǔ)都那么好啦，看英文資料也沒有問題噠~

• 主要意義
  ????小夕在指導(dǎo)(一)中提到的機(jī)器學(xué)習(xí)瓶頸就是指的這門課！
  ????小夕第一次學(xué)機(jī)器學(xué)習(xí)時(shí)，以為各個(gè)機(jī)器學(xué)習(xí)模型是孤立的，有的用梯度下降，有的二次規(guī)劃的，當(dāng)時(shí)也不知道，結(jié)果學(xué)完之后機(jī)器學(xué)習(xí)體系特別散。
  ????直到上了這門課，才恍然大悟，竟然有這么一個(gè)數(shù)學(xué)體系將機(jī)器學(xué)習(xí)中的“尋最優(yōu)參數(shù)”（即最優(yōu)化）問題全都聚攏到一起了！
  ????所以，這門課之于機(jī)器學(xué)習(xí)的重要性，小夕只能說重中之重呀。

• ---

  ?
  

  機(jī)器學(xué)習(xí)-下
  

  • 前置課程

  • • 線性代數(shù)

    • 概率與統(tǒng)計(jì)

    • 最優(yōu)化算法

  • 主要參考資料

  • • 《統(tǒng)計(jì)學(xué)習(xí)方法》李航

    • 《數(shù)據(jù)挖掘?qū)д摗稰ang-Ning Tan等

  • 重點(diǎn)內(nèi)容：

  • • 感知機(jī)模型

    • K近鄰模型

    • 樸素貝葉斯模型

    • 決策樹模型

    • 支持向量機(jī)模型

    • 集成分類器

    • • Bagging

      • Boosting

      • Random Forest

  • 學(xué)習(xí)方法

• 在確信自己的前置課程已經(jīng)完成的前提下，針對(duì)重點(diǎn)內(nèi)容的前5項(xiàng)，抱起《統(tǒng)計(jì)學(xué)習(xí)方法》怒啃吧！不要有心理障礙，當(dāng)你像接受python一樣接受數(shù)學(xué)語(yǔ)言時(shí)，你會(huì)發(fā)現(xiàn)這本書讀起來(lái)很輕松~

• 對(duì)于Logistic模型，也就是書上的第六章可以不用看。完成階段一后應(yīng)對(duì)Logistic模型有足夠的了解了（只要你別偷懶！），更深入的了解會(huì)在下一階段展開。小夕總覺得這一章講的半淺不深的。建議跳過。

• 對(duì)于決策樹模型，也就是書上的第五章，需要預(yù)先學(xué)習(xí)信息論中的一點(diǎn)知識(shí)，起碼弄懂熵、條件熵、自信息、互信息的概念。如果感覺書上的講解不易理解，可以求助《數(shù)據(jù)挖掘?qū)д摗坊蛘逩oogle。

• 對(duì)于SVM模型，記得初學(xué)時(shí)在98、99頁(yè)的位置遇到過一個(gè)問題，感覺書上的解釋不夠詳細(xì)，導(dǎo)致沒理解SVM。但是小夕實(shí)在想不起來(lái)了QAQ。懂了之后再找這個(gè)點(diǎn)好難。所以如果你們讀到這里后遇到跟小夕一樣的問題，請(qǐng)及時(shí)求助Google或者紙質(zhì)資料哦（小夕當(dāng)時(shí)是看《信息檢索導(dǎo)論》理解的這個(gè)點(diǎn)，這本書的第15章講的SVM挺棒，不過你們沒有文本方面的前置知識(shí)小夕不清楚會(huì)不會(huì)影響理解QAQ）
  

• 如果依然感到某個(gè)模型的數(shù)學(xué)描述太難理解，則拿起《數(shù)據(jù)挖掘?qū)д摗氛业綄?duì)應(yīng)的模型學(xué)習(xí)一遍，再返回來(lái)看。（你想說《數(shù)據(jù)挖掘?qū)д摗飞弦部床欢趺崔k？咳咳，請(qǐng)返回計(jì)劃1。）

• 如果你感覺某個(gè)模型的數(shù)學(xué)描述看懂了，但是總感覺意猶未盡，好像還缺點(diǎn)什么，甚至?xí)幸环N小茫然，那么恭喜你，你的大腦試圖在模型之間建立聯(lián)系，它已經(jīng)迫不及待的要開啟下一輪計(jì)劃了~暫時(shí)沒有這種感覺也沒關(guān)系，畢竟不同人的學(xué)習(xí)模式不一定一樣嘛。

• 重點(diǎn)內(nèi)容的前五項(xiàng)完成后，第六項(xiàng)在《數(shù)據(jù)挖掘?qū)д摗分薪鉀Q（第五章第六節(jié)）。

• 主要意義
  ????在階段一我們已經(jīng)淺淺的嘗了一下整個(gè)機(jī)器學(xué)習(xí)大框架。除了了解了機(jī)器學(xué)習(xí)的基本概念、常用模型外，也對(duì)正則化技術(shù)、交叉驗(yàn)證思想等有了初步的認(rèn)識(shí)，完成了科普階段的積累。
  ????但是小夕講了，我們不做大忽悠哦~因此經(jīng)過本課程勤懇的鉆研，您就可以揭開機(jī)器學(xué)習(xí)的大部分面紗啦！你會(huì)發(fā)現(xiàn)看似神奇的學(xué)習(xí)算法，人工智能中看似神奇的學(xué)習(xí)能力，原來(lái)不過是幾個(gè)數(shù)學(xué)公式+工業(yè)界的小trick嘛~~?
  ????至此，您可以稱得上機(jī)器學(xué)習(xí)的從業(yè)者了。動(dòng)手欲強(qiáng)的人估計(jì)此時(shí)已經(jīng)將書上的數(shù)學(xué)語(yǔ)言翻譯成您喜歡的編程語(yǔ)言了吧(￣?￣)

• ?

  下階段預(yù)告

• python

• 機(jī)器學(xué)習(xí)任務(wù)實(shí)踐

• 模式識(shí)別與深度學(xué)習(xí)-上

?


文末，還是想再說一聲“謝謝你們(?????????)”。小夕會(huì)將你們帶給小夕的感動(dòng)延續(xù)下去，再轉(zhuǎn)交到你們手里。

總結(jié)

以上是生活随笔為你收集整理的史上最萌最认真的机器学习/深度学习/模式识别入门指导手册(二)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。