目錄

• 機(jī)器學(xué)習(xí)流程
• 有監(jiān)督算法（回歸，分類(lèi)）
• • 1.分類(lèi)(classification)與回歸(regression)的區(qū)別與關(guān)系
  • 2.線性回歸
  • 3.邏輯回歸（是一個(gè)分類(lèi)算法，可處理二元分類(lèi)及多元分類(lèi)）
  • • 3.1邏輯回歸解決二分類(lèi)問(wèn)題
    • 3.2 邏輯回歸python實(shí)現(xiàn)并可視化
  • 4.K近鄰算法（k-nearest neighbor classification算法）
  • 5.樸素貝葉斯分類(lèi)器（Naive Bayes Classifier）-判垃圾郵件
  • 6.SVM（支持向量機(jī)-線性分類(lèi)器）
  • 7.決策樹(shù)（處理非線情況）
  • • 7.1使用決策樹(shù)判斷是否打golf
  • 8.隨機(jī)森林
  • 9.XGBoost
  • 10.矩陣分解--推薦系統(tǒng)
• 無(wú)監(jiān)督學(xué)習(xí)（聚類(lèi)）
• • 1.K-means聚類(lèi)
  • 2.PCA

說(shuō)明：貪心科技的機(jī)器學(xué)習(xí)視頻，推薦給希望入門(mén)機(jī)器學(xué)習(xí)但又找不到合適資源的小伙伴，UP主將常見(jiàn)的機(jī)器學(xué)習(xí)算法分析的通俗易懂，看完后收獲很多，下面是我學(xué)習(xí)的部分筆記，供以后回顧！

機(jī)器學(xué)習(xí)流程

數(shù)據(jù)清洗：丟棄異常值

特征工程：將輸入的數(shù)據(jù)比如文本，語(yǔ)音，圖片表示成張量的形式。

數(shù)據(jù)預(yù)處理：特征提取（提取hog直方圖，NLP中提取文字n-gram），缺失值處理（均值，使用眾數(shù)，丟棄），數(shù)據(jù)標(biāo)定（歸一化，標(biāo)準(zhǔn)化）

看模型是否為線性模型，就看它的決策邊界是不是線性的。

有監(jiān)督算法（回歸，分類(lèi)）

1.分類(lèi)(classification)與回歸(regression)的區(qū)別與關(guān)系

參考

分類(lèi)通常是建立在回歸之上：例如判斷一幅圖片上的動(dòng)物是一只貓還是一只狗，還是豬，需要先計(jì)算一個(gè)連續(xù)的概率值，然后分類(lèi)的最后一層通常要使用softmax函數(shù)進(jìn)行判斷其所屬類(lèi)別。

2.線性回歸

就是找到一條直線，來(lái)擬合上面所有的點(diǎn)（應(yīng)用：比如進(jìn)行房?jī)r(jià)預(yù)測(cè)，橫坐標(biāo)是面積，縱坐標(biāo)是價(jià)錢(qián)）
假設(shè)線性回歸是個(gè)黑盒子，那按照程序員的思維來(lái)說(shuō)，這個(gè)黑盒子就是個(gè)函數(shù)，然后呢，我們只要往這個(gè)函數(shù)傳一些參數(shù)作為輸入，就能得到一個(gè)結(jié)果作為輸出。那回歸是什么意思呢？其實(shí)說(shuō)白了，就是這個(gè)黑盒子輸出的結(jié)果是個(gè)連續(xù)的值。如果輸出不是個(gè)連續(xù)值而是個(gè)離散值那就叫分類(lèi)。
參考

3.邏輯回歸（是一個(gè)分類(lèi)算法，可處理二元分類(lèi)及多元分類(lèi)）

視頻
前面講到模型輸出是連續(xù)值就是回歸，輸出是離散值就是分類(lèi)！
邏輯回歸雖然叫回歸，但通常干的是分類(lèi)的活，與回歸最大的聯(lián)系就是：在線性回歸上套了一個(gè)邏輯函數(shù)，就得到邏輯回歸，輸出的是一個(gè)連續(xù)的值wx+b，用這個(gè)連續(xù)的值+sigmoid進(jìn)行概率計(jì)算，然后再分類(lèi)。
邏輯回歸的目標(biāo)函數(shù)就是極大化似然函數(shù)

3.1邏輯回歸解決二分類(lèi)問(wèn)題

分類(lèi)問(wèn)題：就是一個(gè)條件概率問(wèn)題，主要解決：1.如何定義這個(gè)條件概率（使用什么函數(shù)f）2.根據(jù)條件概率如何分類(lèi)



邏輯回歸的決策邊界是線性的，所以邏輯回歸是線性的




在進(jìn)行梯度下降時(shí)，GD考慮的是全部樣本，SGD考慮的是單個(gè)樣本，MBGD就是折中的每次迭代考慮一小批。

3.2 邏輯回歸python實(shí)現(xiàn)并可視化

視頻1
博客

4.K近鄰算法（k-nearest neighbor classification算法）

5.樸素貝葉斯分類(lèi)器（Naive Bayes Classifier）-判垃圾郵件

樸素貝葉斯分類(lèi)（NBC）是以貝葉斯定理為基礎(chǔ)并且假設(shè)特征條件之間相互獨(dú)立的方法，先通過(guò)已給定的訓(xùn)練集，以特征詞之間獨(dú)立作為前提假設(shè)，學(xué)習(xí)從輸入到輸出的聯(lián)合概率分布，再基于學(xué)習(xí)到的模型，輸入x求出使得后驗(yàn)概率最大的輸出y。
通過(guò)先驗(yàn)概率和條件概率，求得未知分類(lèi)的后驗(yàn)概率，利用后驗(yàn)概率進(jìn)行分類(lèi)

6.SVM（支持向量機(jī)-線性分類(lèi)器）

邏輯回歸也線性分類(lèi)器，它考慮的是每一個(gè)數(shù)據(jù)，SVM線性分類(lèi)器只考慮支持向量，只考慮邊界上具有代表性的點(diǎn)（最好是三個(gè)點(diǎn)確定唯一性）。

若數(shù)據(jù)的位置發(fā)生變化，則邏輯回歸的w,b也要發(fā)生變化，但SVM不會(huì)變化，也就是說(shuō)SVM對(duì)奇異值不敏感。

7.決策樹(shù)（處理非線情況）

將不同的條件當(dāng)成節(jié)點(diǎn)構(gòu)建一棵樹(shù)，然后進(jìn)行分類(lèi)，因?yàn)楣?jié)點(diǎn)有多個(gè)，那么如何構(gòu)建一棵樹(shù)才是最合理的呢：即保證信息增益最大化
信息增益=信息熵-條件熵。

7.1使用決策樹(shù)判斷是否打golf

8.隨機(jī)森林

隨機(jī)森林同時(shí)訓(xùn)練多個(gè)決策樹(shù),預(yù)測(cè)的時(shí)候,綜合考慮多個(gè)結(jié)果做預(yù)測(cè).例如取多個(gè)結(jié)果的均值(回歸情況),或者眾數(shù)(分類(lèi)情況)

隨機(jī)森林的隨機(jī)體現(xiàn)在每次生成決策樹(shù)時(shí)，只使用一部分訓(xùn)練數(shù)據(jù)集（有放回的）比如70%，再者隨機(jī)性體現(xiàn)在選擇分叉特征時(shí)，也只使用一部分特征，比如一共4個(gè)特征，那么生成決策樹(shù)時(shí)只使用3個(gè)特征。

減小過(guò)擬合，減小預(yù)測(cè)結(jié)果因?yàn)橛?xùn)練數(shù)據(jù)小的變化帶來(lái)的影響

9.XGBoost

XGBoost（eXtreme Gradient Boosting）全名叫極端梯度提升，XGBoost是集成學(xué)習(xí)方法的王牌，在Kaggle數(shù)據(jù)挖掘比賽中，大部分獲勝者用了XGBoost，XGBoost在絕大多數(shù)的回歸和分類(lèi)問(wèn)題上表現(xiàn)的十分頂尖，主要是一種殘差思想。
參考

10.矩陣分解–推薦系統(tǒng)

無(wú)監(jiān)督學(xué)習(xí)（聚類(lèi)）

1.K-means聚類(lèi)

K-means聚類(lèi)包含兩部分：

k-means就是將樣本分為 k類(lèi)，所以先隨機(jī)選k個(gè)點(diǎn)，作為初始化的中心點(diǎn)，每個(gè)點(diǎn)就是一個(gè)group

接下來(lái)就是一個(gè)迭代的過(guò)程，a.計(jì)算每個(gè)點(diǎn)到中心點(diǎn)的距離，并根據(jù)最近原則將所有點(diǎn)進(jìn)行分組
b.針對(duì)每一組的點(diǎn)計(jì)算它們的均值得到新的中心點(diǎn)。

最后就是迭代的過(guò)程，根據(jù)新的中心點(diǎn)進(jìn)行聚類(lèi)，再獲得新的中心點(diǎn)，直到中心點(diǎn)不發(fā)生變化，聚類(lèi)結(jié)束

K-means一個(gè)點(diǎn)就屬于一個(gè)group，hard clusting
GMM與K-means相似，只不過(guò)一個(gè)點(diǎn)可能屬于多個(gè)類(lèi)，每個(gè)類(lèi)的喜好不同

2.PCA

視頻

總結(jié)

以上是生活随笔為你收集整理的机器学习视频推荐-绝对的通俗易懂（线性回归，逻辑回归，朴素贝叶斯分类器，K-近邻，SVM，决策树，随机森林，XGboost，k-means聚类）的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。