豆瓣的話題：
研究機器學習需要什么樣的數學基礎？

來自: 求真 2013-07-11 13:44:22
我是小碩一枚，研究方向是機器學習。通過閱讀一些機器學習的教科書，發現機器學習對于數學基礎要求比較高。
我想問一下：一般研究機器學習需要怎樣的數學基礎？
我們大學學習的高等數學、線性代數和概率論之類的數學基礎課程能夠用嗎？
skynet 2013-07-12 15:30:26
看方向，不過任何方向都基本上不夠。缺什么補什么吧，數學是個坑，機器學習也是個坑，人不可能同時在兩個坑里掙扎。
贊 (3) 回應
skynet 2013-07-12 15:30:26
看方向，不過任何方向都基本上不夠。缺什么補什么吧，數學是個坑，機器學習也是個坑，人不可能同時在兩個坑里掙扎。
贊 (3) 回應
求真 2013-07-12 16:07:20
看方向，不過任何方向都基本上不夠。缺什么補什么吧，數學是個坑，機器學習也是個坑，人不可能同 ... skynet
嗯啊，好的。
贊 回應
frce 2014-06-09 15:39:55
說得好，我喜歡。
贊 回應

opera 2014-06-09 15:43:56
高等數學、線性代數和概率論肯定是要用到的。除了它們可能還有別的。
贊 回應

Mr. L (Live long and prosper) 2014-06-09 20:51:39
應用域呢？
贊 回應
泡泡龍 2014-07-03 17:16:37
具體點應該是微積分、概率論、線性代數、隨機分布、凸優化吧
贊 回應
求真 2014-07-06 10:46:35
具體點應該是微積分、概率論、線性代數、隨機分布、凸優化吧泡泡龍
謝謝！

----------------------------------------------------------------------------------------------------

知乎的話題：
如果對機器學習僅是以應用為目的的話，到底需要多少數學…，比如說微分流形，代數拓撲，泛函之類的需要懂嗎？

“僅是以應用為目的”有點含糊。。乍一看題主好像想說是在公司里用，但后面又出來一大票高大上課程，看起來又好像偏學界。。前面的大大們提到的感覺更偏學界。我補充一些工業界的情況。

總的來說我偏向匿名用戶的回答。如果對機器學習僅是以應用為目的的話，到底需要多少數學…，比如說微分流形，代數拓撲，泛函之類的需要懂嗎？ - 匿名用戶的回答
在思考這個問題之前，要先搞清楚公司花錢雇你來干啥的。我的經驗是，這有兩種情況。一是公司原來沒有一項業務，現在要把一些機器學習這個東西跑起來（從無到有）。二是在你接手的時候公司已經有一定基礎了，現在要把性能調上去（從差到優）。前者完全不用任何數學，先用別人有的模塊/代碼把系統擼起來是王道。后者看具體問題，大多數情況不用數學。

從無到有的情況，比如我原來在facebook做place deduplication，大概就是說非死不可上面超多可以簽到的地點，要判斷里面有哪些是重復的地點。類似知乎上面有很多重復的問題，如何鑒別和重定向這些問題。這個問題從機器學習的角度來看并不難，有很多已有工作。但公司更關心的其實是怎么把隨便一個系統在fb數十TB的數據上日起來。所以我們的絕大多數時間根本不是花在評估哪個機器學習模型更好，這個流形有什么性質，那個系統有什么下限，而是——擼hadoop用幾千個核先把feature抽出來。有了feature以后后臺分類器是特媽隨便找的這種事我會亂說？這種情況跟數學完全沒鳥關系好嗎。

從有到優的情況，我也參與了這個項目的調優。基本經驗是——分類器啊模型啊再復雜精巧數學性質再好沒吊用，關鍵還是看feature。弄一個有效的feature出來精度呼呼的往上漲，各種分類器瞎JB換啊調啊基本沒差別。。（當然deep learning這種模型的質變除外，但這個和不搞科研的人就沒啥關系了）所以你要問數學有沒有用，我說有用，根據數學才能提出有效的模型——但這特媽是學界人家十年磨一劍的人用的。放公司里用數學拱KPI分分鐘被nen死。隔壁王二狗整倆新feature獎金拿得多多的，這邊你要死磕泛函產品狗咬死你。。
當然在偏研究的地方比如Google X的某些部門還是有用的，但我覺得這還是偏學界。

總的來說，我的建議是，如果想去公司的話就不要糾結逼格過高的事情了。學好線性代數，統計和凸優化就出門打怪吧，攢系統經驗和dirty trick才是王道。當然我也不是說就不要搞數學，只是如果你去公司的話，在學好線代統計凸優化的前提下，同樣的時間花在學計算機系統的構建和系統性的思考方法上，比學習數學更劃算。

編輯于 2015-04-09 35 條評論 感謝

這里有個80-20原則的應用。
只要20%的機器學習知識，其實已經可以在80%的商業應用里取得滿意的效果。

但，如果公司精益求精，或者說是專注于機器學習算法的公司，可能要投入指數級別的努力來達到性能的提升。

不請自來，我本人就是從數學轉到數據科學上來的，是完全以應用為目的學的機器學習。本科加PHD九年中，數學方面的課程大概學過：數學分析（微積分），線性代數，概率論，統計，應用統計，數值分析，常微分方程，偏微分方程，數值偏微分方程，運籌學，離散數學，隨機過程，隨機偏微分方程，抽象代數，實變函數，泛函分析，復變函數，數學建模，拓撲，微分幾何，漸近分析等等

從我個人的學習過程中，覺得對機器學習的應用有幫助的數學學科有（重要性從高到低）：

1， 線性代數（或叫高等代數）：必需，所有的算法最后都會向量化表示，線性代數不熟的話，算法都看不懂啊

2，微積分：這個是所有高等數學的基礎，不細說了

3，統計：這里包括統計理論基礎，和應用統計（主要就是線性模型）。很多機器學習內容的前身就是統計啊。

3.5， 凸優化： 經 @徐文浩 補充，原因跟6相似

前三個感覺是想要學好機器學習所必需的，后面的雖然不必需，但是適當了解之后，幫助也很大：

4,概率論：基礎概率論就夠了，以測度為基礎的高級概率論對機器學習幫助不大

5，數值分析：數值分析的一部分包括了插值，擬合，數值求解各種方程，數值積分，這些小技術雖然沒有跟機器學習直接扯上關系，但是可能在你處理復雜問題時的一些小地方起到奇效。數值分析的另一大塊就是數值線性代數了，包括怎么矩陣求逆了，矩陣的各種分解了，矩陣特征根奇異值什么了，這里面很多算法都會被機器學習的書法直接使用的。比如SVD就被Principal Component Analysis直接調用了啊。

6，運籌學：運籌就是做優化，說白了就是把問題表示成數學公式和限制條件，然后求最大值或最小值。所以不少機器學習里面先進的優化算法，最先都是在運籌里面出現的

暫時就想到這么多，至于題主說的泛函，微分流形，代數拓撲啥的，完全不需要了解啊。

編輯于 2015-04-28 26 條評論 感謝

我就是從數學轉ML的。我就知道，肯定有人要扯很多純數學的“基礎背景”。我說一些實在的，微分幾何，流形，代數拓撲這些知識，只要你去找相關的研究論文，總能找得到和Ml有交集的地方。但是，不代表你必須掌握它們。在大部分的ML研究里，還是微積分和線性代數、概率統計的功底最重要。不要太小看微積分和線性代數，很多時候做研究時要用的推導還是需要很多熟練的技巧才可以勝任。至于其他知識，可以用到時再補充。

----------------------------------------------------------------------------------------------
CSDN的TOPIC:
機器學習需要學習哪些數學知識 [問題點數：20分，結帖人hanyahui88]
收藏

關注
hanyahui88
大眼的小眼
本版等級：
結帖率：100%

樓主發表于： 2014-10-16 11:07:37
機器學習數學數據分析算法
最近公司做數據分析，但是以前都沒有接觸過，看了一下所有的算法，很多都是跟數學有關，看不懂很多數學符號，所以問問我應該學習什么數學 好像離散數學是必須的
更多0分享到：
相關推薦：
阿里云機器學習算法應用實踐
統計機器學習入門——重抽樣方法
統計機器學習入門——分類2
統計機器學習入門——線性模型選擇與正則化2

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理
回復次數：9

關注
OrthocenterCh...
Kenney_Qin
本版等級：

#1 得分：3回復于： 2014-10-16 13:18:23
以我平時接觸到的機器學習算法來說，與其相關的的數學知識有：求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等，數學知識是基礎，很多機器學習算法是建立在數學的基礎上，是數值計算的比較多，和離散數學關系不是特別大，如果你要做圖算法，那離散數學就很重要了。

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
hanyahui88
大眼的小眼
本版等級：

#2 得分：0回復于： 2014-10-17 09:12:48
引用 1 樓 OrthocenterChocolate 的回復:以我平時接觸到的機器學習算法來說，與其相關的的數學知識有：求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等，數學知識是基礎，很多機器學習算法是建立在數學的基礎上，是數值計算的比較多，和離散數學關系不是特別大，如果你要做圖算法，那離散數學就很重要了。
我最近在研究均值漂移算法，里面的核函數，好多公式都看不懂 我也不知道學什么數學可以看懂這些公式。
你說的求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等 這些是什么數學中的？？

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
longburulin
longburulin
本版等級：

#3 得分：2回復于： 2014-10-17 09:51:41
引用 2 樓 hanyahui88 的回復:Quote: 引用 1 樓 OrthocenterChocolate 的回復: 以我平時接觸到的機器學習算法來說，與其相關的的數學知識有：求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等，數學知識是基礎，很多機器學習算法是建立在數學的基礎上，是數值計算的比較多，和離散數學關系不是特別大，如果你要做圖算法，那離散數學就很重要了。我最近在研究均值漂移算法，里面的核函數，好多公式都看不懂 我也不知道學什么數學可以看懂這些公式。
你說的求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等 這些是什么數學中的？？
數值分析里面好像除了拉格朗日對偶沒有 其他好像有

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
OrthocenterCh...
Kenney_Qin
本版等級：

#4 得分：0回復于： 2014-10-19 21:38:16
引用 2 樓 hanyahui88 的回復:Quote: 引用 1 樓 OrthocenterChocolate 的回復: 以我平時接觸到的機器學習算法來說，與其相關的的數學知識有：求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等，數學知識是基礎，很多機器學習算法是建立在數學的基礎上，是數值計算的比較多，和離散數學關系不是特別大，如果你要做圖算法，那離散數學就很重要了。我最近在研究均值漂移算法，里面的核函數，好多公式都看不懂 我也不知道學什么數學可以看懂這些公式。
你說的求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等 這些是什么數學中的？？
求導，求梯度，拉格朗日乘子法是高等數學里面的，拉格朗日對偶，牛頓迭代法你可以看看凸優化，其實凸優化應該包含了你想看的很多機器學習中的數學知識，只不過它們是建立在一些更為基礎的數學知識上（如求導）。

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
hanyahui88
大眼的小眼
本版等級：

#5 得分：0回復于： 2014-10-21 14:40:54
引用 4 樓 OrthocenterChocolate 的回復:Quote: 引用 2 樓 hanyahui88 的回復:Quote: 引用 1 樓 OrthocenterChocolate 的回復: 以我平時接觸到的機器學習算法來說，與其相關的的數學知識有：求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等，數學知識是基礎，很多機器學習算法是建立在數學的基礎上，是數值計算的比較多，和離散數學關系不是特別大，如果你要做圖算法，那離散數學就很重要了。我最近在研究均值漂移算法，里面的核函數，好多公式都看不懂 我也不知道學什么數學可以看懂這些公式。
你說的求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等 這些是什么數學中的？？求導，求梯度，拉格朗日乘子法是高等數學里面的，拉格朗日對偶，牛頓迭代法你可以看看凸優化，其實凸優化應該包含了你想看的很多機器學習中的數學知識，只不過它們是建立在一些更為基礎的數學知識上（如求導）。

也就是看高等數學 和凸優化 基本就可以了？？？

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
OrthocenterCh...
Kenney_Qin
本版等級：

#6 得分：5回復于： 2014-10-23 14:32:40
引用 5 樓 hanyahui88 的回復:Quote: 引用 4 樓 OrthocenterChocolate 的回復:Quote: 引用 2 樓 hanyahui88 的回復:Quote: 引用 1 樓 OrthocenterChocolate 的回復: 以我平時接觸到的機器學習算法來說，與其相關的的數學知識有：求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等，數學知識是基礎，很多機器學習算法是建立在數學的基礎上，是數值計算的比較多，和離散數學關系不是特別大，如果你要做圖算法，那離散數學就很重要了。我最近在研究均值漂移算法，里面的核函數，好多公式都看不懂 我也不知道學什么數學可以看懂這些公式。
你說的求導，求梯度，拉格朗日乘子法，拉格朗日對偶，牛頓迭代法等 這些是什么數學中的？？求導，求梯度，拉格朗日乘子法是高等數學里面的，拉格朗日對偶，牛頓迭代法你可以看看凸優化，其實凸優化應該包含了你想看的很多機器學習中的數學知識，只不過它們是建立在一些更為基礎的數學知識上（如求導）。

也就是看高等數學 和凸優化 基本就可以了？？？
對，還有些矩陣運算，如果不熟悉的話再看看線性代數，建議你碰到不會的再去查，而不是事先全部看完， 不然太多了。

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
q243021856
狼痕
本版等級：

#7 得分：5回復于： 2014-10-23 14:58:16
微積分、線性代數、概率論、離散數學、統計學

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
shaowei213
Tracysw
本版等級：

#8 得分：5回復于： 2014-10-23 15:38:32
引用 7 樓 q243021856 的回復:微積分、線性代數、概率論、離散數學、統計學
專業

對我有用[0] 丟個板磚[0] 引用 | 舉報 | 管理

關注
hanyahui88
大眼的小眼
本版等級：

#9 得分：0回復于： 2014-10-28 11:45:36
好的 謝謝大家

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的研究机器学习需要什么样的数学基础？的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。