目錄

• 決策樹

  • 簡述決策樹原理？

  • 為什么要對決策樹進行減枝？如何進行減枝？

  • 簡述決策樹的生成策略

• PCA

  • 簡述主成分分析PCA工作原理，以及PCA的優(yōu)缺點？

  • PCA中有第一主成分、第二主成分，它們分別是什么，又是如何確定的？

• 邏輯回歸

  • 邏輯回歸是線性模型么，說下原因？

  • 邏輯回歸算法為什么用的是sigmoid函數(shù)而不用階躍函數(shù)？

• 其他

  • 分析KNN與K-means中k值如何進行選取并解釋兩者之間的區(qū)別？

  • 對于數(shù)據(jù)異常值，我們一般如何處理？

  • 什么是特征選擇，為什么要進行特征選擇，以及如何進行？

決策樹

簡述決策樹原理？

? ? ? ?決策樹是一種自上而下，對樣本數(shù)據(jù)進行樹形分類的過程，由節(jié)點和有向邊組成。節(jié)點分為內(nèi)部節(jié)點和葉節(jié)點，其中每個內(nèi)部節(jié)點表示一個特征或?qū)傩?#xff0c;葉節(jié)點表示類別。從頂部節(jié)點開始，所有樣本聚在一起，經(jīng)過根節(jié)點的劃分，樣本被分到不同的子節(jié)點中，再根據(jù)子節(jié)點的特征進一步劃分，直至所有樣本都被歸到某個類別。

為什么要對決策樹進行減枝？如何進行減枝？

Datawhale優(yōu)秀回答者：Cassiel?

? ? ? ? 剪枝是決策樹解決過擬合問題的方法。在決策樹學習過程中，為了盡可能正確分類訓練樣本，結(jié)點劃分過程將不斷重復，有時會造成決策樹分支過多，于是可能將訓練樣本學得太好，以至于把訓練集自身的一些特點當作所有數(shù)據(jù)共有的一般特點而導致測試集預(yù)測效果不好，出現(xiàn)了過擬合現(xiàn)象。因此，可以通過剪枝來去掉一些分支來降低過擬合的風險。

? ? ? ? 決策樹剪枝的基本策略有“預(yù)剪枝”和“后剪枝”。預(yù)剪枝是指在決策樹生成過程中，對每個結(jié)點在劃分前先進行估計，若當前結(jié)點的劃分不能帶來決策樹泛化性能提升，則停止劃分并將當前結(jié)點標記為葉結(jié)點；后剪枝則是先從訓練集生成一棵完整的決策樹，然后自底向上地對非葉結(jié)點進行考察，若將該結(jié)點對應(yīng)的子樹替換為葉結(jié)點能帶來決策樹泛化性能提升，則將該子樹替換為葉結(jié)點。?

? ? ? ? 預(yù)剪枝使得決策樹的很多分支都沒有"展開”，這不僅降低了過擬合的風險，還顯著減少了決策樹的訓練時間開銷和測試時間開銷。但另一方面，有些分支的當前劃分雖不能提升泛化性能、甚至可能導致泛化性能暫時下降?但在其基礎(chǔ)上進行的后續(xù)劃分卻有可能導致性能顯著提高；預(yù)剪枝基于"貪心"本質(zhì)禁止這些分支展開，給預(yù)剪枝決策樹帶來了欠擬含的風險。

? ? ? ? 后剪枝決策樹通常比預(yù)剪枝決策樹保留了更多的分支，一般情形下后剪枝決策樹的欠擬合風險很小，泛化性能往往優(yōu)于預(yù)剪枝決策樹 。但后剪枝過程是在生成完全決策樹之后進行的 并且要白底向上對樹中的所有非葉結(jié)點進行逐 考察，因此其訓練時間開銷比未剪枝決策樹和預(yù)剪枝決策樹都要大得多。?

簡述決策樹的生成策略？

Datawhale優(yōu)秀回答者：立言

? ? ? ? 決策樹主要有ID3、C4.5、CART，算法的適用略有不同，但它們有個總原則，即在選擇特征、向下分裂、樹生成中，它們都是為了讓信息更“純”。

? ? ? ? 舉一個簡單例子，通過三個特征：是否有喉結(jié)、身高、體重，判斷人群中的男女，是否有喉結(jié)把人群分為兩部分，一邊全是男性、一邊全是女性，達到理想結(jié)果，純度最高。 通過身高或體重，人群會有男有女。 上述三種算法，信息增益、增益率、基尼系數(shù)對“純”的不同解讀。如下詳細闡述：

? ? ? ? 綜上，ID3采用信息增益作為劃分依據(jù)，會傾向于取值較多的特征，因為信息增益反映的是給定條件以后不確定性減少的程度，特征取值越多就意味著不確定性更高。C4.5對ID3進行優(yōu)化，通過引入信息增益率，對特征取值較多的屬性進行懲罰。

PCA

簡述主成分分析PCA工作原理，以及PCA的優(yōu)缺點？

? ? ? ? PCA旨在找到數(shù)據(jù)中的主成分，并利用這些主成分表征原始數(shù)據(jù)，從而達到降維的目的。

? ? ? ?工作原理可由兩個角度解釋，第一個是最大化投影方差(讓數(shù)據(jù)在主軸上投影的方差盡可能大)；第二個是最小化平方誤差(樣本點到超平面的垂直距離足夠近)。

? ? ? ? 做法是數(shù)據(jù)中心化之后，對樣本數(shù)據(jù)協(xié)方差矩陣進行特征分解，選取前d個最大的特征值對應(yīng)的特征向量，即可將數(shù)據(jù)從原來的p維降到d維，也可根據(jù)奇異值分解來求解主成分。?

優(yōu)點：

1.計算簡單，易于實現(xiàn)

2.各主成分之間正交，可消除原始數(shù)據(jù)成分間的相互影響的因素

3.僅僅需要以方差衡量信息量，不受數(shù)據(jù)集以外的因素影響

4.降維維數(shù)木有限制，可根據(jù)需要制定

缺點：

1.無法利用類別的先驗信息

2.降維后，只與數(shù)據(jù)有關(guān)，主成分各個維度的含義模糊，不易于解釋

3.方差小的非主成分也可能含有對樣本差異的重要信息，因降維丟棄可能對后續(xù)數(shù)據(jù)處理有影響

4.線性模型，對于復雜數(shù)據(jù)集難以處理(可用核映射方式改進)

參考鏈接：

https://www.jianshu.com/p/487818da5de3

PCA中有第一主成分、第二主成分，它們分別是什么，又是如何確定的？

Datawhale優(yōu)秀回答者：孫洪杰?

? ? ? ? 主成分分析是設(shè)法將原來眾多具有一定相關(guān)性(比如P個指標)，重新組合成一組新的互相無關(guān)的綜合指標來代替原來的指標。主成分分析，是考察多個變量間相關(guān)性一種多元統(tǒng)計方法，研究如何通過少數(shù)幾個主成分來揭示多個變量間的內(nèi)部結(jié)構(gòu)，即從原始變量中導出少數(shù)幾個主成分，使它們盡可能多地保留原始變量的信息，且彼此間互不相關(guān)，通常數(shù)學上的處理就是將原來P個指標作線性組合，作為新的綜合指標。?

? ? ? ?最經(jīng)典的做法就是用F1(選取的第一個線性組合，即第一個綜合指標)的方差來表達，即Var(F1)越大，表示F1包含的信息越多。因此在所有的線性組合中選取的F1應(yīng)該是方差最大的，故稱F1為第一主成分。如果第一主成分不足以代表原來P個指標的信息，再考慮選取F2即選第二個線性組合，為了有效地反映原來信息，F1已有的信息就不需要再出現(xiàn)在F2中，用數(shù)學語言表達就是要求Cov(F1, F2)=0，則稱F2為第二主成分，依此類推可以構(gòu)造出第三、第四，……，第P個主成分。

邏輯回歸

邏輯回歸是線性模型么，說下原因？

Datawhale優(yōu)秀回答者：夢大大?

邏輯回歸是廣義線性模型，原因如下：?

? ? ? ?狹義線性模型的前提是因變量誤差是正態(tài)分布，但很多情況下這并不滿足，比如對足球比分的預(yù)測顯然用泊松分布是更好的選擇。而廣義的”廣”在于引入了聯(lián)系函數(shù)，于是誤差變成了只要滿足指數(shù)分布族就行了，因此適用性更強。?

? ? ? ? 簡單來說廣義線性模型分為兩個部分，第一個部分是描述了自變量和因變量的系統(tǒng)關(guān)系，也就是”線性”所在；第二個部分是描述了因變量的誤差，這可以建模成各種滿足指數(shù)分布族的分布。而聯(lián)系函數(shù)就是把這兩個部分連接起來的橋梁，也就是把因變量的期望表示為了自變量線性組合的函數(shù)。而像邏輯回歸這樣的簡單廣義線性模型，實際是將自變量的線性組合變成了聯(lián)系函數(shù)的自然參數(shù)，這類聯(lián)系函數(shù)也可以叫做正則聯(lián)系函數(shù)。?

邏輯回歸算法為什么用的是sigmoid函數(shù)而不用階躍函數(shù)？

? ? ? ? 階躍函數(shù)雖然能夠直觀刻畫分類的錯誤率，但是由于其非凸、非光滑的特點，使得算法很難直接對該函數(shù)進行優(yōu)化。而sigmoid函數(shù)本身的特征(光滑無限階可導)，以及完美的映射到概率空間，就用于邏輯回歸了。解釋上可從三個方面：- 最大熵定理- 伯努利分布假設(shè)- 貝葉斯理論?

其他

分析KNN與K-means中k值如何進行選取并解釋兩者之間的區(qū)別？

? ? ? ? knn的k是指選擇與目標最近k個數(shù)量樣本來進行預(yù)測。可以用多次交叉檢驗迭代對比后選擇最優(yōu)。kmeans的k是指簇中心數(shù)量，也就是聚類的數(shù)量。可以用肘部法，也是通過不同的k值，每次都計算所有樣本與距離自己最近簇中心的距離之和，最后用k值和對應(yīng)的距離畫散點圖，尋找一個最優(yōu)的拐點。手肘法是個經(jīng)驗學習，所以不夠自動化，然后提出了Gap Statistic方法。

對于數(shù)據(jù)異常值，我們一般如何處理？

1.視為無效信息(噪聲點)：結(jié)合異常值檢測算法，檢測出后直接丟棄；

2.視為有效信息(信號點)：

作為缺失值，用缺失值的方式處理；

3.用平均值(中位數(shù))等統(tǒng)計特征進行修正，結(jié)合前后觀測值；

4.不處理，直接在具有異常值的數(shù)據(jù)上進行數(shù)據(jù)挖掘；

什么是特征選擇，為什么要進行特征選擇，以及如何進行？

Datawhale優(yōu)秀回答者：Summer?

特征選擇是通過選擇舊屬性的子集得到新屬性，是一種維規(guī)約方式。

Why：

應(yīng)用方面：提升準確率，特征選擇能夠刪除冗余不相關(guān)的特征并降低噪聲，避免維災(zāi)難。在許多數(shù)據(jù)挖掘算法中，維度較低，效果更好；

執(zhí)行方面：維度越少，運行效率越高，同時內(nèi)存需求越少。

How，有三種標準的特征選擇方法

1.嵌入方法，算法本身決定使用哪些屬性和忽略哪些屬性。即特征選擇與訓練過程融為一體，比如L1正則、決策樹等；

2.過濾方法，獨立于算法，在算法運行前進行特征選擇。如可以選擇屬性的集合，集合內(nèi)屬性對之間的相關(guān)度盡可能低。常用對特征重要性(方差，互信息，相關(guān)系數(shù)，卡方檢驗)排序選擇；可結(jié)合別的算法(隨機森林，GBDT等)進行特征重要性提取，過濾之后再應(yīng)用于當前算法。

3.包裝方法，算法作為黑盒，在確定模型和評價準則之后，對特征空間的不同子集做交叉驗證，進而搜索最佳特征子集。深度學習具有自動化包裝學習的特性。 總之，特征子集選擇是搜索所有可能的特性子集的過程，可以使用不同的搜索策略，但是搜索策略的效率要求比較高，并且應(yīng)當找到最優(yōu)或近似最優(yōu)的特征子集。一般流程如下圖：?

? ? ? ? 圖片 | 伊小雪? ? ? ???

排版 | 伊小雪

知識總結(jié) | Summer

Datawhale

和學習者一起成長

長按掃碼關(guān)注我們

總結(jié)

以上是生活随笔為你收集整理的r语言 C4.5 剪枝是用什么算法_决策树，逻辑回归，PCA算法面经的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。