文章目錄

• • 1. 數(shù)據(jù)預(yù)覽
  • 2. 特征初步選擇
  • 3. 增加特征`Sex`和`Embarked`
  • 4. 選擇隨機(jī)森林調(diào)參
  • 5. 實(shí)踐總結(jié)

本文作為學(xué)習(xí)記錄，參考 此處，如有侵權(quán)，聯(lián)系刪除。

1. 數(shù)據(jù)預(yù)覽

• 數(shù)據(jù)集下載

import pandas as pd import numpy as np from pandas import Series, DataFrame data_train = pd.read_csv("titanic_train.csv") data_test = pd.read_csv("titanic_test.csv") # 讀取前10行 data_train.head(10)

data_train.info() -------------------------------- <class 'pandas.core.frame.DataFrame'> RangeIndex: 891 entries, 0 to 890 Data columns (total 12 columns): PassengerId 891 non-null int64 Survived 891 non-null int64 Pclass 891 non-null int64 Name 891 non-null object Sex 891 non-null object Age 714 non-null float64 SibSp 891 non-null int64 Parch 891 non-null int64 Ticket 891 non-null object Fare 891 non-null float64 Cabin 204 non-null object # 有的原始信息缺失 Embarked 889 non-null object dtypes: float64(2), int64(5), object(5) memory usage: 83.7+ KB data_test.describe() # 可見(jiàn)一些統(tǒng)計(jì)信息

2. 特征初步選擇

• 由于Cabin客艙號(hào)大部分都缺失，進(jìn)行填補(bǔ)，可能會(huì)造成較大誤差，不選
• 乘客id，是個(gè)連續(xù)數(shù)據(jù)，跟是否存活應(yīng)該無(wú)關(guān)，不選
• 年齡Age，是個(gè)比較重要的特征，對(duì)缺失的部分用中位數(shù)進(jìn)行填充

data_train["Age"] = data_train["Age"].fillna(data_train["Age"].median())

• 初步調(diào)用一些模型（默認(rèn)參數(shù)）進(jìn)行預(yù)測(cè)：
• algs = [Perceptron(),KNeighborsClassifier(),GaussianNB(),DecisionTreeClassifier(), LinearRegression(),LogisticRegression(),SVC(),RandomForestClassifier()]

from sklearn.linear_model import Perceptron from sklearn.neighbors import KNeighborsClassifier from sklearn.naive_bayes import GaussianNB from sklearn.tree import DecisionTreeClassifier from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.ensemble import RandomForestClassifier # boost from sklearn.model_selection import KFold # 交叉驗(yàn)證 features = ["Pclass","Age","SibSp","Parch","Fare"] algs = [Perceptron(),KNeighborsClassifier(),GaussianNB(),DecisionTreeClassifier(),LinearRegression(),LogisticRegression(),SVC(),RandomForestClassifier()] for alg in algs:kf = KFold(n_splits=5,shuffle=True,random_state=1)predictions = []for train, test in kf.split(data_train):train_features = (data_train[features].iloc[train,:])train_label = data_train["Survived"].iloc[train]alg.fit(train_features,train_label)test_predictions = alg.predict(data_train[features].iloc[test,:])predictions.append(test_predictions)predictions = np.concatenate(predictions,axis=0) # 合并3組數(shù)據(jù)predictions[predictions>0.5] = 1predictions[predictions<=0.5] = 0accuracy = sum(predictions == data_train["Survived"])/len(predictions)print("模型準(zhǔn)確率：", accuracy)

交叉驗(yàn)證的參數(shù) shuffle = True，打亂數(shù)據(jù)

模型準(zhǔn)確率： 0.531986531986532 模型準(zhǔn)確率： 0.5488215488215489 模型準(zhǔn)確率： 0.5566778900112234 模型準(zhǔn)確率： 0.5353535353535354 模型準(zhǔn)確率： 0.5712682379349046 模型準(zhǔn)確率： 0.569023569023569 模型準(zhǔn)確率： 0.5712682379349046 模型準(zhǔn)確率： 0.5364758698092031

交叉驗(yàn)證參數(shù) shuffle = False，正確率就提高了，why ？？？求解答

模型準(zhǔn)確率： 0.5679012345679012 模型準(zhǔn)確率： 0.6644219977553311 模型準(zhǔn)確率： 0.6745230078563412 模型準(zhǔn)確率： 0.632996632996633 模型準(zhǔn)確率： 0.6947250280583613 模型準(zhǔn)確率： 0.6980920314253648 模型準(zhǔn)確率： 0.6644219977553311 模型準(zhǔn)確率： 0.6846240179573513

3. 增加特征Sex和Embarked

• 上面效果不好，增加一些特征
• 增加特征Sex和Embarked，查看對(duì)預(yù)測(cè)的影響
• 這兩個(gè)特征為字符串，需要轉(zhuǎn)成數(shù)字

print(pd.value_counts(data_train.loc[:,"Embarked"])) ---------------------- S 644 C 168 Q 77 Name: Embarked, dtype: int64 # sex轉(zhuǎn)成數(shù)字 data_train.loc[data_train["Sex"]=="male","Sex"] = 0 data_train.loc[data_train["Sex"]=="female","Sex"] = 1 # 登船地點(diǎn)，缺失的用最多的S進(jìn)行填充 data_train["Embarked"] = data_train["Embarked"].fillna('S') data_train.loc[data_train["Embarked"]=="S", "Embarked"]=0 data_train.loc[data_train["Embarked"]=="C", "Embarked"]=1 data_train.loc[data_train["Embarked"]=="Q", "Embarked"]=2 features = ["Pclass","Age","SibSp","Parch","Fare","Embarked","Sex"]

交叉驗(yàn)證的參數(shù) shuffle = True，正確率依然很低，再次提問(wèn)，why ？？？

模型準(zhǔn)確率： 0.5521885521885522 模型準(zhǔn)確率： 0.5432098765432098 模型準(zhǔn)確率： 0.5185185185185185 模型準(zhǔn)確率： 0.5286195286195287 模型準(zhǔn)確率： 0.5230078563411896 模型準(zhǔn)確率： 0.5252525252525253 模型準(zhǔn)確率： 0.5723905723905723 模型準(zhǔn)確率： 0.5196408529741863

交叉驗(yàn)證參數(shù) shuffle = False，正確率相比于上面缺少特征Sex和Embarked時(shí)，提高了不少，好的特征對(duì)預(yù)測(cè)結(jié)果提升很有幫助

模型準(zhǔn)確率： 0.675645342312009 模型準(zhǔn)確率： 0.691358024691358 模型準(zhǔn)確率： 0.7856341189674523 模型準(zhǔn)確率： 0.7822671156004489 模型準(zhǔn)確率： 0.7878787878787878 模型準(zhǔn)確率： 0.792368125701459 模型準(zhǔn)確率： 0.6655443322109988 模型準(zhǔn)確率： 0.8058361391694725

4. 選擇隨機(jī)森林調(diào)參

從上面可以看出隨機(jī)森林模型的預(yù)測(cè)效果最好，使用該模型，進(jìn)行調(diào)參

features = ["Pclass","Age","SibSp","Parch","Fare","Embarked","Sex"] estimator_num = [5,10,15,20,25,30] splits_num = [3,5,10,15] for e_n in estimator_num:for sp_n in splits_num:alg = RandomForestClassifier(n_estimators=e_n)kf = KFold(n_splits=sp_n,shuffle=False,random_state=1)predictions_train = []for train, test in kf.split(data_train):train_features = (data_train[features].iloc[train,:])train_label = data_train["Survived"].iloc[train]alg.fit(train_features,train_label)train_pred = alg.predict(data_train[features].iloc[test,:])predictions_train.append(train_pred)predictions_train = np.concatenate(predictions_train,axis=0) # 合并3組數(shù)據(jù)predictions_train[predictions_train>0.5] = 1predictions_train[predictions_train<=0.5] = 0accuracy = sum(predictions_train == data_train["Survived"])/len(predictions_train)print("%d折數(shù)據(jù)集，%d棵決策樹，模型準(zhǔn)確率：%.4f" %(sp_n,e_n,accuracy)) 3折數(shù)據(jù)集，5棵決策樹，模型準(zhǔn)確率：0.7890 5折數(shù)據(jù)集，5棵決策樹，模型準(zhǔn)確率：0.7901 10折數(shù)據(jù)集，5棵決策樹，模型準(zhǔn)確率：0.7935 15折數(shù)據(jù)集，5棵決策樹，模型準(zhǔn)確率：0.8092 3折數(shù)據(jù)集，10棵決策樹，模型準(zhǔn)確率：0.7890 5折數(shù)據(jù)集，10棵決策樹，模型準(zhǔn)確率：0.8047 10折數(shù)據(jù)集，10棵決策樹，模型準(zhǔn)確率：0.8137 15折數(shù)據(jù)集，10棵決策樹，模型準(zhǔn)確率：0.8092 3折數(shù)據(jù)集，15棵決策樹，模型準(zhǔn)確率：0.7868 5折數(shù)據(jù)集，15棵決策樹，模型準(zhǔn)確率：0.8002 10折數(shù)據(jù)集，15棵決策樹，模型準(zhǔn)確率：0.8092 15折數(shù)據(jù)集，15棵決策樹，模型準(zhǔn)確率：0.8047 3折數(shù)據(jù)集，20棵決策樹，模型準(zhǔn)確率：0.7969 5折數(shù)據(jù)集，20棵決策樹，模型準(zhǔn)確率：0.8092 10折數(shù)據(jù)集，20棵決策樹，模型準(zhǔn)確率：0.8114 15折數(shù)據(jù)集，20棵決策樹，模型準(zhǔn)確率：0.8092 3折數(shù)據(jù)集，25棵決策樹，模型準(zhǔn)確率：0.7924 5折數(shù)據(jù)集，25棵決策樹，模型準(zhǔn)確率：0.8070 10折數(shù)據(jù)集，25棵決策樹，模型準(zhǔn)確率：0.8103 15折數(shù)據(jù)集，25棵決策樹，模型準(zhǔn)確率：0.8025 3折數(shù)據(jù)集，30棵決策樹，模型準(zhǔn)確率：0.7890 5折數(shù)據(jù)集，30棵決策樹，模型準(zhǔn)確率：0.8013 10折數(shù)據(jù)集，30棵決策樹，模型準(zhǔn)確率：0.8081 15折數(shù)據(jù)集，30棵決策樹，模型準(zhǔn)確率：0.8193

最后一種參數(shù)下，隨機(jī)森林模型的預(yù)測(cè)效果最好

5. 實(shí)踐總結(jié)

熟悉了機(jī)器學(xué)習(xí)的基本流程

• 導(dǎo)入工具包 numpy, pandas, sklearn等
• 數(shù)據(jù)讀取，pandas.read_csv(file)
• pandas的一些數(shù)據(jù)處理
  data.head(n) 讀取前n行展示
  data.info() 獲取數(shù)據(jù)的信息
  data.describe() 獲取統(tǒng)計(jì)信息（均值、方差等）
  data["Age"] = data["Age"].fillna(data["Age"].median()) 缺失數(shù)據(jù)填補(bǔ)(均值、最大值、根據(jù)別的特征分段填充等)
  性別等字符串特征數(shù)字化
• 選取特征，初步預(yù)測(cè)
• 不斷的加入新的特征預(yù)測(cè)
• 選定較好的模型，再調(diào)整這些模型的參數(shù)，選出最好的模型參數(shù)

總結(jié)

以上是生活随笔為你收集整理的泰坦尼克号生存预测入门的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。