邏輯回歸，分類問題，線性分類器，通過線性回歸逼近對數(shù)幾率，適用于高維稀疏數(shù)據(jù)的場景，如果數(shù)據(jù)包含一條決策邊界，因為單位階躍函數(shù)不連續(xù)，采用sigmoid函數(shù)來表示。

優(yōu)點和缺點

優(yōu)點：

(模型)模型清晰，背后的概率推導(dǎo)經(jīng)得住推敲。

(輸出)輸出值自然地落在0到1之間，并且有概率意義(邏輯回歸的輸出是概率么？https://www.jianshu.com/p/a8d6b40da0cf)。

(參數(shù))參數(shù)代表每個特征對輸出的影響，可解釋性強(qiáng)。

(簡單高效)實施簡單，非常高效(計算量小、存儲占用低)，可以在大數(shù)據(jù)場景中使用。

(可擴(kuò)展)可以使用online learning的方式更新輕松更新參數(shù)，不需要重新訓(xùn)練整個模型。

(過擬合)解決過擬合的方法很多，如L1、L2正則化。

(多重共線性)L2正則化就可以解決多重共線性問題。

缺點：

(特征相關(guān)情況)因為它本質(zhì)上是一個線性的分類器，所以處理不好特征之間相關(guān)的情況。

(特征空間)特征空間很大時，性能不好。

(精度)容易欠擬合，精度不高。

決策樹，分類和回歸問題，非線性分類器，利用自變量構(gòu)造一個分叉樹區(qū)分目標(biāo)變量，關(guān)鍵在于挑選屬性變量，和樹剪枝避免過擬合，有三種主要方式，使用場景如果數(shù)據(jù)包含多個決策邊界

數(shù)據(jù)的結(jié)構(gòu)：邏輯回歸勝在整體分析，決策樹勝在局部分析。

線性特性：邏輯回歸擅長線性數(shù)據(jù)，決策樹擅長非線性。

缺失值。

附本周作業(yè)參考答案

1.常見決策樹算法有哪些？它們的劃分準(zhǔn)則分別是什么，是否有缺陷

常見決策樹算法有：ID3、C4.5、CART

劃分準(zhǔn)則分別是：信息增益、信息增益率、基尼指數(shù)

信息增益缺點：對可取值較多的屬性有偏好，比如編號、日期

信息增益率缺點：對可取值較少的屬性有偏好

2.決策樹為什么要剪枝？有幾種方法？簡述一下，并分析其優(yōu)缺點

為了防止過擬合。有兩種方法：預(yù)剪枝、后剪枝。

預(yù)剪枝：預(yù)剪枝的核心思想是在樹中進(jìn)行擴(kuò)展之前，先計算當(dāng)前的劃分是否能帶來模型泛化能力的提升，如果不能則不再生長子樹。此時可能存在不同類別的樣本同時存在結(jié)點中，按照多數(shù)投票原則判斷該結(jié)點所屬類別。優(yōu)點：思想直接、算法簡單、效率高等特點，適合解決大規(guī)模問題。缺點：有欠擬合風(fēng)險。

后剪枝：后剪枝的核心思想是讓算法生成一棵完全生長的決策樹，然后從最底層向上計算是否剪枝。剪枝過程將子樹刪除，用一個葉子結(jié)點代替，該結(jié)點的類別同樣按照多數(shù)投票的原則進(jìn)行判斷。同樣，后剪枝也可以通過在測試集的準(zhǔn)確率進(jìn)行判斷，如果剪枝后準(zhǔn)確率有提升則進(jìn)行剪枝。優(yōu)點：相比于預(yù)剪枝，泛化能力強(qiáng) 。缺點：時間開銷大

leetcode第一周刷題

最大的k個，先考慮堆，時間復(fù)雜度O(N log K )，空間復(fù)雜度O(k)，不需要全部排序完成

K largest(heapsort)

快排，快慢指針，分治法， 時間復(fù)雜度是O(N)， 空間復(fù)雜度O(1)

每一輪確定一個位置，想要位置的元素被確定了，就可以提前結(jié)束排序，因為拋去了一部分所以復(fù)雜度沒有l(wèi)ogN

if轉(zhuǎn)while，遞歸轉(zhuǎn)循環(huán)

quicksort

sort colors(荷蘭國旗)

三指針，三向切分快速排序

topk frequent

1、python heapq.nlargest

采用桶排序的思路

桶排序假設(shè)待排序的一組數(shù)均勻獨立的分布在一個范圍中，并將這一范圍劃分成幾個子范圍(桶)。

然后基于某種映射函數(shù)f ，將待排序列的關(guān)鍵字 k 映射到第i個桶中 (即桶數(shù)組B 的下標(biāo)i) ，那么該關(guān)鍵字k 就作為 B[i]中的元素 (每個桶B[i]都是一組大小為N/M 的序列 )。

接著將各個桶中的數(shù)據(jù)有序的合并起來 : 對每個桶B[i] 中的所有元素進(jìn)行比較排序 (可以使用快排)。然后依次枚舉輸出 B[0]….B[M] 中的全部內(nèi)容即是一個有序序列

2.設(shè)置一個定量的數(shù)組當(dāng)作空桶子。

尋訪序列，并且把項目一個一個放到對應(yīng)的桶子去。

對每個不是空的桶子進(jìn)行排序。

從不是空的桶子里把項目再放回原來的序列中。

非桶排序思路

two sum

有規(guī)律的數(shù)組采用雙指針，一個指針指向較小的元素，一個指向較大的，較小的從頭向尾部遍歷，較大的從尾部向頭部遍歷

greedy

return i

總結(jié)

以上是生活随笔為你收集整理的python决策树逻辑回归_百面机器学习(逻辑回归以及决策树，leetcode）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。