一、數(shù)據(jù)挖掘流程介紹

　　1.數(shù)據(jù)讀取
　　 -讀取數(shù)據(jù)
　　-統(tǒng)計(jì)指標(biāo)
　　-數(shù)據(jù)規(guī)模
　　2.數(shù)據(jù)探索（特征理解）
　　-單特征的分析，諸個變量分析對結(jié)果y的影響（x,y的相關(guān)性）
　　 -多變量分析（x,y之間的相關(guān)性）
　　 -統(tǒng)計(jì)繪圖
　　3.數(shù)據(jù)清洗和預(yù)處理
　　-缺失值填充
　　 -標(biāo)準(zhǔn)化、歸一化
　　 -特征工程（篩選有價值的特征）
　　 -分析特征之間的相關(guān)性
　　4.建模
　　-特征數(shù)據(jù)的準(zhǔn)備和標(biāo)簽
　　 -數(shù)據(jù)集的切分
　　-多種模型對比：交叉驗(yàn)證、調(diào)參（學(xué)習(xí)曲線，網(wǎng)格搜索）
　　 -集成算法（提升算法）XGBoost、GBDT、light-GBM、神經(jīng)網(wǎng)絡(luò)（多種集成）

二、數(shù)據(jù)文件說明

　　本案例所用泰坦尼克號數(shù)據(jù)存儲在文件 train.csv 中，來源于kaggle競賽

三、Python代碼實(shí)現(xiàn)

1.數(shù)據(jù)讀取

2.數(shù)據(jù)探索

3.數(shù)據(jù)清洗和預(yù)處理

3.1提取性別身份，并將少數(shù)類歸為其他

3.2缺失值填充

3.2.1填補(bǔ)Age缺失值

3.2.2填充港口數(shù)據(jù)

3.3數(shù)據(jù)處理

3.3.1年齡分段

3.3.2數(shù)值化

3.3.3獨(dú)熱編碼

3.3.4變量選擇

4.建模

導(dǎo)包

劃分?jǐn)?shù)據(jù)集

4.1logistic

4.2knn近鄰算法

4.3網(wǎng)格搜索

4.4決策樹

4.5roc曲線

ROC曲線的含義：受試者工作特征曲線

#評價統(tǒng)計(jì)量計(jì)算

1.ROC曲線下的面積值在0.5和1之間。
2.在AUC>0.5的情況下，AUC越接近于1，說明效果越好。

AUC在 0.5～0.7時有較低準(zhǔn)確性，
AUC在0.7～0.9時有一定準(zhǔn)確性，
AUC在0.9以上時有較高準(zhǔn)確性。

3.AUC小于等于0.5時，說明該方法完全不起作用。

從上圖可以看出：AUC值等于0.83，說明效果較好

4.6混淆矩陣

4.7集成算法-裝袋法

通過比較發(fā)現(xiàn)裝代法的得分最高，約為0.8659，即使用該方法效果最好。

總結(jié)

以上是生活随笔為你收集整理的数据挖掘案例分析-泰坦尼克号数据的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。