Python機器學習算法實現

Author：louwill

Machine Learning Lab

? ? ?

? ? ?終于到了最后的總結。從第一篇線性回歸的文章開始到現在，已經接近有兩年的時間了。當然，也不是純寫這30篇文章用了這么長時間，在第14篇Ridge回歸之后中間斷更了10個多月，好在今年抽出時間把全部補齊了。

一點總結

? ? ?整個系列對常用的、主流的機器學習模型與算法進行了梳理，主題只有兩個，一個是數學推導，一個手寫實現。因為機器學習原理大多都是由數學支撐，基本的機器學習數學公式推導對于深入掌握機器學習十分重要；另一方面，通過手寫實現機器學習算法，深入理解算法細節，進一步提高算法實現的代碼能力。

? ? ?在完成這項工作的過程中，很多朋友都有問過我，所有的算法是否都是我自己寫的。當然不是，作為一名普通的學習者，不可能獨自閉門造車的完成這項工作，在公式推導和代碼實現過程中，筆者曾大量參考借鑒了各種博客、教材和GitHub相關倉庫，總體而言也是一項集成性的工作。還有一個問題就是很多朋友也會問，說好的手寫呢，怎么你LightGBM調了包了呢。其實不光是LightGBM調了包，筆者在寫支持向量機的時候調用了cvxopt求解二次規劃，貝葉斯網絡用了pgmpy，CatBoost調用了原生的catboost庫，最大熵模型也調用了maxentropy等。一方面是中間確實偷了懶，一方面也是因為部分算法系統過于復雜，一部分未完成的工作會留到下半年繼續。

? ? ?全部模型和算法整理成思維導圖如下：

? ? ?按照模型類型分為監督學習模型、無監督學習模型和概率模型三大類：

監督模型

無監督模型

概率模型

全部30講如下：

數學推導+純Python實現機器學習算法1：線性回歸

數學推導+純Python實現機器學習算法2：邏輯回歸

數學推導+純Python實現機器學習算法3：k近鄰

數學推導+純Python實現機器學習算法4：決策樹之ID3算法

數學推導+純Python實現機器學習算法5：決策樹之CART算法

數學推導+純Python實現機器學習算法6：感知機

數學推導+純Python實現機器學習算法7：神經網絡

數學推導+純Python實現機器學習算法8：線性可分支持向量機

數學推導+純Python實現機器學習算法9：線性支持向量機

數學推導+純Python實現機器學習算法10：線性不可分支持向量機

數學推導+純Python實現機器學習算法11：樸素貝葉斯

數學推導+純Python實現機器學習算法12：貝葉斯網絡

數學推導+純Python實現機器學習算法13：Lasso回歸

數學推導+純Python實現機器學習算法14：Ridge嶺回歸

數學推導+純Python實現機器學習算法15：GBDT

數學推導+純Python實現機器學習算法16：Adaboost

數學推導+純Python實現機器學習算法17：XGBoost

數學推導+純Python實現機器學習算法18：LightGBM

數學推導+純Python實現機器學習算法19：CatBoost

數學推導+純Python實現機器學習算法20：隨機森林

數學推導+純Python實現機器學習算法21：最大熵模型

數學推導+純Python實現機器學習算法22：EM算法

數學推導+純Python實現機器學習算法23：CRF條件隨機場

數學推導+純Python實現機器學習算法24：HMM隱馬爾可夫模型

數學推導+純Python實現機器學習算法25：kmeans聚類

數學推導+純Python實現機器學習算法26：PCA降維

數學推導+純Python實現機器學習算法27：LDA線性判別分析

數學推導+純Python實現機器學習算法28：奇異值分解SVD

數學推導+純Python實現機器學習算法29：馬爾可夫鏈蒙特卡洛

數學推導+純Python實現機器學習算法30：系列總結與感悟

下一步的工作

? ? ?下一步，筆者將在30講的基礎上繼續進行完善和梳理，在深度上進行挖掘，并將系列整理改寫為書稿，預計于明年年初成稿。完整版的代碼將繼續在我的GitHub進行更新完善，感謝各位關注。GitHub地址如下或者閱讀原文：

https://github.com/luwill/machine-learning-code-writing

? ? ?另外，對本系列接下來的改寫有建議和想法的朋友可以直接加我微信溝通。

往期精彩回顧適合初學者入門人工智能的路線及資料下載機器學習及深度學習筆記等資料打印機器學習在線手冊深度學習筆記專輯《統計學習方法》的代碼復現專輯 AI基礎下載機器學習的數學基礎專輯獲取一折本站知識星球優惠券，復制鏈接直接打開：https://t.zsxq.com/yFQV7am本站qq群1003271085。加入微信群請掃碼進群：

總結

以上是生活随笔為你收集整理的【机器学习基础】数学推导+纯Python实现机器学习算法30：系列总结与感悟的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。