如何輕松的使用Python中的隨機森林

從來沒有比現(xiàn)在更好的時間來學(xué)習(xí)機器學(xué)習(xí)了。隨著vailable在線學(xué)習(xí)資源，免費的開源工具的提供，以及任何可以想到的算法的實現(xiàn)方法，并通過云服務(wù)，例如廉價AWS計算能力，機器學(xué)習(xí)由互聯(lián)網(wǎng)領(lǐng)域已經(jīng)大眾化。任何能夠使用筆記本電腦并樂于學(xué)習(xí)的人都可以在幾分鐘內(nèi)嘗試最先進的算法。再多花一點時間，您就可以開發(fā)實用的模型來為您的日常生活或工作提供幫助（甚至切換到機器學(xué)習(xí)領(lǐng)域并獲得經(jīng)濟利益））。這篇文章將引導(dǎo)您完成功能強大的隨機森林機器學(xué)習(xí)模型的建立。它旨在補充我對隨機森林的概念性解釋，但只要您對決策樹和隨機森林有基本了解，就可以完全單獨閱讀。后面還會介紹更深的隨機森林優(yōu)化。

理所應(yīng)當(dāng)?shù)倪@里會有Python代碼，但是，任何人都可以訪問這些機器學(xué)習(xí)資源！數(shù)據(jù)文件和Jupyter Notebook也可以從Google云端硬盤下載。您所需要的只是一臺安裝了Python的筆記本電腦，并且具有啟動Jupyter Notebook的能力，您可以繼續(xù)學(xué)習(xí)。這里將涉及一些必要的機器學(xué)習(xí)主題，但是我將盡力使它們變得清晰，并為感興趣的人提供更多的學(xué)習(xí)資源。

1

1. 問題介紹

我們將要解決的問題是使用一年的過去天氣數(shù)據(jù)來預(yù)測我們城市明天的最高溫度。我正在使用華盛頓州西雅圖市，但是可以使用NOAA在線氣候數(shù)據(jù)工具隨意查找您自己城市的數(shù)據(jù)。我們將進行預(yù)測，假設(shè)我們無法獲得任何天氣預(yù)報一樣，而且，我們要做出我們自己的預(yù)測而不是依靠其他預(yù)測會更有趣。我們所能獲得的是一年的歷史最高氣溫，前兩天的氣溫，以及一個一直聲稱對天氣有所了解的朋友的估計。這是有監(jiān)督的回歸機器學(xué)習(xí)問題。之所以受到監(jiān)督，是因為我們同時具有要預(yù)測的特征（城市數(shù)據(jù)）和目標(biāo)（溫度）。在訓(xùn)練期間，我們?yōu)殡S機森林提供了特征和目標(biāo)，并且它必須學(xué)習(xí)如何將數(shù)據(jù)映射到預(yù)測。此外，這是一項回歸任務(wù)，因為目標(biāo)值是連續(xù)的（與分類中的離散類相對）。這幾乎是我們需要的所有背景，所以讓我們開始吧！

2. 路線圖

在我們直接進行編程之前，我們應(yīng)該先制定一份簡短的指南，以保持我們方向正確。一旦我們想到了問題和模型，以下步驟將是任何機器學(xué)習(xí)工作流程的基礎(chǔ)：

陳述問題并確定所需數(shù)據(jù)

以可訪問的格式獲取數(shù)據(jù)

根據(jù)需要識別并糾正丟失的數(shù)據(jù)點/異常

為機器學(xué)習(xí)模型準(zhǔn)備數(shù)據(jù)

建立您希望超越的基準(zhǔn)模型

根據(jù)訓(xùn)練數(shù)據(jù)訓(xùn)練模型

對測試數(shù)據(jù)進行預(yù)測

將預(yù)測與已知測試集目標(biāo)進行比較，并計算性能指標(biāo)

如果性能不令人滿意，請調(diào)整模型，獲取更多數(shù)據(jù)或嘗試其他建模技術(shù)

可視化和數(shù)字化解釋模型并報告結(jié)果

步驟1已被我們已經(jīng)完成！我們的問題：“我們能預(yù)測明天城市的最高溫度嗎？” 而且我們知道我們可以獲取過去一年華盛頓州西雅圖市的歷史最高氣溫。

3. 數(shù)據(jù)采集

首先，我們需要一些數(shù)據(jù)。舉一個現(xiàn)實的例子，我使用NOAA氣候數(shù)據(jù)在線工具從2016年檢索了華盛頓州西雅圖的天氣數(shù)據(jù)。通常，大約80％的數(shù)據(jù)分析時間是清理和檢索數(shù)據(jù)，但是可以通過查找高質(zhì)量的數(shù)據(jù)源來減少此工作量。NOAA工具非常的易用，溫度數(shù)據(jù)可以以干凈的csv文件的形式下載，可以用Python或R等語言進行解析。
地址為：https://drive.google.com/file/d/1pko9oRmCllAxipZoa3aoztGZfPAD2iwj/view
以下Python代碼在csv數(shù)據(jù)中加載并顯示數(shù)據(jù)的結(jié)構(gòu)：

# Pandas is used for data manipulation import pandas as pd # Read in data and display first 5 rows features = pd.read_csv('temps.csv') features.head(5)

1

信息采用整潔的數(shù)據(jù)格式，每一行構(gòu)成一個觀察值，各列中包含變量值。
以下是各列的說明：
year：所有數(shù)據(jù)點均為2016年
month：一年中的月份號
day：一年中的天數(shù)
week：星期幾作為字符串
temp_2： 2天之前的最高溫度
temp_1： 1天前的最高溫度
average：歷史平均最高溫度
actual：最高溫度測量
friend：您朋友的預(yù)測，是隨機數(shù)在平均值以下20到平均值以上20之間

4. 識別異常/丟失數(shù)據(jù)

如果我們看一下數(shù)據(jù)的維度，就會發(fā)現(xiàn)只有348行，這與2016年我們知道的366天并不完全一致。通過NOAA的數(shù)據(jù)，我注意到有幾天丟失了，這極大地提醒了我們，在現(xiàn)實世界中收集的數(shù)據(jù)永遠(yuǎn)不會是完美的。數(shù)據(jù)丟失可能會影響分析，不正確的數(shù)據(jù)或異常值也會影響分析。在這種情況下，丟失的數(shù)據(jù)不會有很大的影響，并且由于源的原因，數(shù)據(jù)質(zhì)量也很好。我們還可以看到有9個列代表8個功能和一個目標(biāo)（“實際”）。

print('The shape of our features is:', features.shape) The shape of our features is: (348, 9)

為了識別異常，我們可以快速計算摘要統(tǒng)計信息。

# Descriptive statistics for each column features.describe()

1

一眼望去，在任何列中都沒有明顯顯示為異常的數(shù)據(jù)點。驗證數(shù)據(jù)質(zhì)量的另一種方法是繪制圖。通常，在圖形中發(fā)現(xiàn)異常比在數(shù)字中發(fā)現(xiàn)異常更容易。我在這里省略了實際的代碼，因為使用Python進行繪圖是不直觀的，但是可以隨時訪問github以獲取完整的code（就像任何優(yōu)秀的數(shù)據(jù)科學(xué)家一樣，我?guī)缀鯊腟tack Overflow復(fù)制并粘貼了繪圖代碼，哈哈）。

1

檢查定量統(tǒng)計數(shù)據(jù)和圖表，我們可以對數(shù)據(jù)的高質(zhì)量充滿信心。沒有明顯的異常值，盡管存在一些遺漏點，但它們不會影響分析。

5. 資料準(zhǔn)備

不幸的是，我們還不能完全將原始數(shù)據(jù)輸入模型并返回答案（盡管人們正在為此做準(zhǔn)備）！我們將需要做一些小的修改，以使我們的數(shù)據(jù)成為機器可理解的數(shù)據(jù)形式。我們將使用Python-Pandas進行數(shù)據(jù)處理，它依賴于稱為數(shù)據(jù)框的結(jié)構(gòu)，該結(jié)構(gòu)基本上是具有行和列的excel電子表格。

數(shù)據(jù)準(zhǔn)備的確切步驟將取決于所使用的模型和收集的數(shù)據(jù)，但是任何機器學(xué)習(xí)應(yīng)用程序都將需要一定數(shù)量的數(shù)據(jù)處理。

5.1 One-Hot Encoding

我們的第一步被稱為單熱編碼的數(shù)據(jù)。此過程將使用類別變量（例如星期幾），并將其轉(zhuǎn)換為數(shù)字表示形式，而無需進行任意排序。一周中的幾天對我們來說很直觀，因為我們一直都在使用它們。但是機器沒有任何直觀的知識。計算機知道的是只有數(shù)字，所以當(dāng)進行機器學(xué)習(xí)，我們必須的數(shù)據(jù)必須只包含數(shù)字。但如果我們簡單地將一周中的幾天映射為數(shù)字1至7（label方法），但這可能會導(dǎo)致算法在星期日上更加重要，因為它具有較高的數(shù)值。相反，我們將工作日的單列更改為7列二進制數(shù)據(jù)。最好用圖形說明。熱門編碼采用此方法：

1

并變成

1

因此，如果數(shù)據(jù)點是星期三，則在星期三列中將有一個1，在所有其他列中將有一個0。此過程可以在一行中的pandas中完成！

# One-hot encode the data using pandas get_dummies features = pd.get_dummies(features) # Display the first 5 rows of the last 12 columns features.iloc[:,5:].head(5)

一鍵編碼后的數(shù)據(jù)：

1

現(xiàn)在我們的數(shù)據(jù)形狀為349 x 15，并且所有列都是數(shù)字，就像算法喜歡的數(shù)據(jù)樣式！

6. 特征和目標(biāo)并將數(shù)據(jù)轉(zhuǎn)換為數(shù)組

現(xiàn)在，我們需要將數(shù)據(jù)分為特征和目標(biāo)。目標(biāo)（也稱為標(biāo)簽）是我們要預(yù)測的值，在這種情況下，實際最高溫度和特征是模型用來進行預(yù)測的所有列。我們還將pandas數(shù)據(jù)框轉(zhuǎn)換為Numpy數(shù)組，因為這是該算法的工作方式。（我將列標(biāo)題（即特征名稱）保存到列表中，以用于以后的可視化）。

# Use numpy to convert to arrays import numpy as np # Labels are the values we want to predict labels = np.array(features['actual']) # Remove the labels from the features # axis 1 refers to the columns features= features.drop('actual', axis = 1) # Saving feature names for later use feature_list = list(features.columns) # Convert to numpy array features = np.array(features)

6. 訓(xùn)練集和測試集

數(shù)據(jù)準(zhǔn)備的最后一步是：將數(shù)據(jù)分為訓(xùn)練和測試集。在訓(xùn)練過程中，我們讓模型“看到”答案，在本模型中為實際溫度，因此它可以學(xué)習(xí)如何根據(jù)特征預(yù)測溫度。我們期望所有特征與目標(biāo)值之間存在某種關(guān)系，并且模型的工作是在訓(xùn)練過程中學(xué)習(xí)這種關(guān)系。然后，當(dāng)需要評估模型時，我們要求它在只能訪問特征（而不能訪問答案）的測試集中進行預(yù)測！因為我們有測試集的真實值，所以我們可以將這些預(yù)測值與真實值進行比較，以判斷模型的準(zhǔn)確性。通常，在訓(xùn)練模型時，我們將數(shù)據(jù)隨機分為訓(xùn)練和測試集 為了獲得所有數(shù)據(jù)點的表示形式（如果我們在一年的前九個月進行了培訓(xùn)，然后將最后三個月用于預(yù)測，則我們的算法將無法很好地執(zhí)行，因為它沒有看到過去三個月的任何數(shù)據(jù)。）我將隨機種子設(shè)置為42，這意味著每次運行代碼，結(jié)果都將相同。
以下代碼用另一行分割數(shù)據(jù)集：

# Using Skicit-learn to split data into training and testing sets from sklearn.model_selection import train_test_split # Split the data into training and testing sets train_features, test_features, train_labels, test_labels = train_test_split(features, labels, test_size = 0.25, random_state = 42)

我們可以查看所有數(shù)據(jù)的形狀，以確保正確完成了所有操作。我們希望訓(xùn)練功能的列數(shù)與測試功能的列數(shù)相匹配，行數(shù)與各個訓(xùn)練和測試功能及標(biāo)簽相匹配：

print（'Training Features Shape：'，train_features.shape） print（'Training Labels Shape：'，train_labels.shape） print（'Testing Features Shape：'，test_features.shape） print（'Testing Labels Shape：'，test_labels。形狀） Training Features Shape: (261, 14) Training Labels Shape: (261,) Testing Features Shape: (87, 14) Testing Labels Shape: (87,)

看來一切都井然有序！回顧一下，為了使數(shù)據(jù)成為機器學(xué)習(xí)可以接受的形式，我們：

一鍵編碼分類變量

將數(shù)據(jù)分為特征和標(biāo)簽

轉(zhuǎn)換為數(shù)組

將數(shù)據(jù)分為訓(xùn)練和測試集

根據(jù)初始數(shù)據(jù)集，可能需要進行額外的工作，例如刪除異常值，估算缺失值或?qū)r間變量轉(zhuǎn)換為循環(huán)表示。這些步驟乍一看似乎是任意的，但是一旦您獲得了基本的工作流程，對于任何機器學(xué)習(xí)問題來說，它通常都是相同的。這一切都是關(guān)于將人類可讀的數(shù)據(jù)放入一種機器學(xué)習(xí)模型可以理解的形式。

7. 建立base

在做出和評估預(yù)測之前，我們需要建立一個基線，這是我們希望與我們的模型相比較的措施。如果我們的模型不能在基線上得到改善，那將是一個失敗，我們應(yīng)該嘗試其他模型，或者承認(rèn)機器學(xué)習(xí)不適合我們的問題。我們的案例的基線預(yù)測可以是歷史最高溫度平均值。換句話說，我們的基線是如果我們僅預(yù)測所有天的平均最高溫度，就會得到的誤差。

# The baseline predictions are the historical averages baseline_preds = test_features[:, feature_list.index('average')] # Baseline errors, and display average baseline error baseline_errors = abs(baseline_preds - test_labels) print('Average baseline error: ', round(np.mean(baseline_errors), 2)) Average baseline error: 5.06 degrees.

現(xiàn)在我們有了目標(biāo)！如果我們無法提升5度的平均誤差，那么我們需要重新考慮我們的方法。

7. 訓(xùn)練模型

在完成所有數(shù)據(jù)準(zhǔn)備工作之后，使用Scikit-learn即可輕松創(chuàng)建和訓(xùn)練模型。我們從skicit-learn導(dǎo)入隨機森林回歸模型，然后將模型（訓(xùn)練的scikit-learn名稱）適配fit于訓(xùn)練數(shù)據(jù)。（再次將隨機狀態(tài)設(shè)置為可再現(xiàn)的結(jié)果）。整個過程在scikit-learn中只有3行！

# Import the model we are using from sklearn.ensemble import RandomForestRegressor # Instantiate model with 1000 decision trees rf = RandomForestRegressor(n_estimators = 1000, random_state = 42) # Train the model on training data rf.fit(train_features, train_labels);

8. 測試集進行預(yù)測

現(xiàn)在，我們的模型已經(jīng)過訓(xùn)練，可以學(xué)習(xí)特征與目標(biāo)之間的關(guān)系。下一步是弄清楚模型的好壞！為此，我們對測試功能進行預(yù)測（永遠(yuǎn)不允許模型查看測試答案）。然后，我們將預(yù)測與已知答案進行比較。在執(zhí)行回歸時，我們需要確保使用絕對誤差，因為我們的某些答案很低，而有些答案則很高，但我們對平均預(yù)測值與實際值相距多遠(yuǎn)感興趣，因此我們采用了絕對值（建立基線時也是如此）。
用模型進行預(yù)測是Skicit-learn中的另一條1行命令。

# Use the forest's predict method on the test data predictions = rf.predict(test_features) # Calculate the absolute errors errors = abs(predictions - test_labels) # Print out the mean absolute error (mae) print('Mean Absolute Error:', round(np.mean(errors), 2), 'degrees.') Mean Absolute Error: 3.83 degrees.

我們的平均估計相差3.83度。這比基準(zhǔn)平均提高了1度以上。盡管這看起來似乎并不重要，但它比基準(zhǔn)高出近25％，根據(jù)領(lǐng)域和問題的不同，基準(zhǔn)可能會給公司帶來數(shù)百萬美元的收入。

9. 確定性能指標(biāo)

為了正確理解我們的預(yù)測，我們可以使用從100％中減去的平均百分比誤差來計算準(zhǔn)確性。

# Calculate mean absolute percentage error (MAPE) mape = 100 * (errors / test_labels) # Calculate and display accuracy accuracy = 100 - np.mean(mape) print('Accuracy:', round(accuracy, 2), '%.') Accuracy: 93.99 %.

看起來不錯！我們的模型學(xué)習(xí)了如何以94％的準(zhǔn)確度預(yù)測西雅圖第二天的最高溫度。

10. 必要時改進模型

在通常的機器學(xué)習(xí)工作流程中，這將是在開始超參數(shù)調(diào)整時。這是一個復(fù)雜的短語，意為“調(diào)整設(shè)置以提高性能”（這些設(shè)置稱為超參數(shù)，可將其與訓(xùn)練期間學(xué)習(xí)的模型參數(shù)區(qū)分開）。最常見的方法是簡單地制作一堆具有不同設(shè)置的模型，在相同的驗證集上對它們進行評估，然后看看哪個模型效果最好。當(dāng)然，這將是手工完成的繁瑣過程，并且在Skicit-learn中有自動方法可以完成此過程。與基于理論的調(diào)優(yōu)相比，超參數(shù)調(diào)優(yōu)通常更具工程性，我鼓勵任何有興趣的人查看文檔開始玩吧！94％的精度對于此問題是令人滿意的，但請記住，第一個構(gòu)建的模型幾乎永遠(yuǎn)不會成為可投入生產(chǎn)的模型。

11. 解釋模型并報告結(jié)果

在這一點上，我們知道我們的模型是好的，但是它幾乎是一個黑匣子。我們輸入一些Numpy數(shù)組進行訓(xùn)練，要求它做出預(yù)測，評估這些預(yù)測，并確定它們是合理的。問題是：此模型如何得出值？有兩種方法可以獲取隨機森林的內(nèi)幕：首先，我們可以查看森林中的一棵樹，其次，我們可以查看解釋變量的特征重要性。

12. 可視化單個決策樹

Skicit-learn中Random Forest實現(xiàn)最酷的部分之一是，我們實際上可以檢查森林中的任何一顆決策樹。我們將選擇一棵樹，并將整棵樹保存為圖像。

# Import tools needed for visualization from sklearn.tree import export_graphviz import pydot # Pull out one tree from the forest tree = rf.estimators_[5] # Import tools needed for visualization from sklearn.tree import export_graphviz import pydot # Pull out one tree from the forest tree = rf.estimators_[5] # Export the image to a dot file export_graphviz(tree, out_file = 'tree.dot', feature_names = feature_list, rounded = True, precision = 1) # Use dot file to create a graph (graph, ) = pydot.graph_from_dot_file('tree.dot') # Write graph to a png file graph.write_png('tree.png')

12.1 森林中的單個完整決策樹

哇！這看起來像是一棵有15層的膨脹樹（實際上，與我見過的一些樹相比，這是一棵很小的樹）。您可以自己下載此圖像并進行更詳細(xì)的檢查，但是為了使操作更容易，我將限制森林中樹木的深度以生成可理解的圖像。

# Limit depth of tree to 3 levels rf_small = RandomForestRegressor(n_estimators=10, max_depth = 3) rf_small.fit(train_features, train_labels) # Extract the small tree tree_small = rf_small.estimators_[5] # Save the tree as a png image export_graphviz(tree_small, out_file = 'small_tree.dot', feature_names = feature_list, rounded = True, precision = 1) (graph, ) = pydot.graph_from_dot_file('small_tree.dot') graph.write_png('small_tree.png')

1

這是帶有標(biāo)簽注釋的尺寸縮小的樹

1

僅基于此樹，我們就可以對任何新數(shù)據(jù)點進行預(yù)測。讓我們以對2017年12月27日星期三進行預(yù)測為例。（實際）變量為：temp_2 = 39, temp_1 = 35, average = 44, friend = 30。我們從根節(jié)點開始，第一個答案為真，因為temp_1≤59.5。我們向左移動并遇到第二個問題，當(dāng)平均≤46.8時也為True。向下移動到第三個也是最后一個也是True的問題，因為temp_1≤44.5。因此，我們得出結(jié)論，如葉節(jié)點中的值所示，我們對最高溫度的估計為41.0度。有趣的觀察是，盡管有261個訓(xùn)練數(shù)據(jù)點，但在根節(jié)點中只有162個樣本。（創(chuàng)建森林時，我們可以通過設(shè)置bootstrap = False來關(guān)閉替換采樣并使用所有數(shù)據(jù)點）。數(shù)據(jù)點的隨機采樣，再結(jié)合在樹的每個節(jié)點上對特征子集的隨機采樣，是將模型稱為“隨機”森林的原因。

此外，請注意，在我們的樹中，實際上只有2個變量可用于進行預(yù)測！根據(jù)此特定決策樹，其余特征對于進行預(yù)測并不重要。一年中的月份、月中的某天、以及我們朋友的預(yù)測對于明天預(yù)測最高氣溫完全沒有用！根據(jù)我們的簡單樹，唯一重要的信息是:1天前的溫度和歷史平均值。可視化樹增加了我們對該問題的領(lǐng)域知識，并且現(xiàn)在我們知道如果要求我們進行預(yù)測將查找哪些數(shù)據(jù)！

13. 特征重要性

為了量化整個隨機森林中所有變量的有用性，我們可以查看變量的相對重要性。
Skicit-learn中返回的重要性表示包含特定變量在多大程度上可以改善預(yù)測結(jié)果。重要性的實際計算超出了本文的范圍，但是我們可以使用數(shù)字在變量之間進行相對比較。
此處的代碼利用了Python語言中的許多技巧，即列表綜合，zip，排序和參數(shù)解壓縮。暫時了解這些并不是很重要，但是如果您想熟練使用Python，那么這些都是您應(yīng)該擁有的工具！

# Get numerical feature importances importances = list(rf.feature_importances_) # List of tuples with variable and importance feature_importances = [(feature, round(importance, 2)) for feature, importance in zip(feature_list, importances)] # Sort the feature importances by most important first feature_importances = sorted(feature_importances, key = lambda x: x[1], reverse = True) # Print out the feature and importances [print('Variable: {:20} Importance: {}'.format(*pair)) for pair in feature_importances]; Variable: temp_1 Importance: 0.7 Variable: average Importance: 0.19 Variable: day Importance: 0.03 Variable: temp_2 Importance: 0.02 Variable: friend Importance: 0.02 Variable: month Importance: 0.01 Variable: year Importance: 0.0 Variable: week_Fri Importance: 0.0 Variable: week_Mon Importance: 0.0 Variable: week_Sat Importance: 0.0 Variable: week_Sun Importance: 0.0 Variable: week_Thurs Importance: 0.0 Variable: week_Tues Importance: 0.0 Variable: week_Wed Importance: 0.0

列表的頂部是temp_1，即前一天的最高溫度。這告訴我們一天最高溫度的最佳預(yù)測指標(biāo)是前一天的最高溫度，這是一個相當(dāng)直觀的發(fā)現(xiàn)。第二個最重要的因素是歷史平均最高溫度，也就不足為奇了。事實證明，您的朋友以及前兩天的星期幾，年，月和溫度不是很有幫助。這些重要性都是有道理的，因為我們不希望一周中的某天成為最高氣溫的預(yù)測指標(biāo)，因為它與天氣無關(guān)。此外，所有數(shù)據(jù)點的年份都相同，因此沒有為我們提供預(yù)測最高溫度的信息。

在模型的未來實現(xiàn)中，我們可以刪除那些不重要的變量，并且性能不會受到影響。另外，如果我們使用不同的模型（例如支持向量機），則可以將隨機森林特征重要性用作一種特征選擇方法。讓我們快速創(chuàng)建一個僅包含兩個最重要變量的隨機森林，即前1天的最高溫度和歷史平均值，并查看性能之間的比較。

# New random forest with only the two most important variables rf_most_important = RandomForestRegressor(n_estimators= 1000, random_state=42) # Extract the two most important features important_indices = [feature_list.index('temp_1'), feature_list.index('average')] train_important = train_features[:, important_indices] test_important = test_features[:, important_indices] # Train the random forest rf_most_important.fit(train_important, train_labels) # Make predictions and determine the error predictions = rf_most_important.predict(test_important) errors = abs(predictions - test_labels) # Display the performance metrics print('Mean Absolute Error:', round(np.mean(errors), 2), 'degrees.') mape = np.mean(100 * (errors / test_labels)) accuracy = 100 - mape print('Accuracy:', round(accuracy, 2), '%.') Mean Absolute Error: 3.9 degrees. Accuracy: 93.8 %.

這告訴我們，實際上我們不需要收集到的所有數(shù)據(jù)來進行準(zhǔn)確的預(yù)測！如果要繼續(xù)使用此模型，我們只能收集兩個變量并獲得幾乎相同的性能。在生產(chǎn)環(huán)境中，我們需要權(quán)衡準(zhǔn)確性下降與獲取更多信息所需的額外時間。知道如何在性能和成本之間找到合適的平衡是機器學(xué)習(xí)工程師的一項基本技能，并且最終將取決于問題！
至此，我們已經(jīng)涵蓋了關(guān)于監(jiān)督回歸問題的隨機森林的基本實現(xiàn)的幾乎所有知識。我們可以放心，我們的模型可以根據(jù)一年的歷史數(shù)據(jù)以94％的準(zhǔn)確度預(yù)測明天的最高溫度。從這里開始，可以隨意使用該示例，或者在您選擇的數(shù)據(jù)集上使用該模型。我將通過一些可視化來結(jié)束這篇文章。數(shù)據(jù)科學(xué)中我最喜歡的兩個部分是圖形繪制和建模，因此我自然必須繪制一些圖表！圖表除了令人賞心悅目之外，還可以幫助我們診斷模型，因為它們將大量數(shù)字壓縮成可以快速檢查的圖像。
可視化
我將制作的第一個圖表是功能重要性的簡單條形圖，以說明變量相對重要性的差異。使用Python進行繪圖是一種非直覺的工作，當(dāng)我制作圖形時，我最終要在Stack Overflow上查找?guī)缀跛袃?nèi)容。不用擔(dān)心這里的代碼不太有意義，有時不必完全了解代碼即可獲得所需的最終結(jié)果！

# Import matplotlib for plotting and use magic command for Jupyter Notebooks import matplotlib.pyplot as plt %matplotlib inline # Set the style plt.style.use('fivethirtyeight') # list of x locations for plotting x_values = list(range(len(importances))) # Make a bar chart plt.bar(x_values, importances, orientation = 'vertical') # Tick labels for x axis plt.xticks(x_values, feature_list, rotation='vertical') # Axis labels and title plt.ylabel('Importance'); plt.xlabel('Variable'); plt.title('Variable Importances')

1

接下來，我們可以繪制突出顯示預(yù)測的整個數(shù)據(jù)集。這需要一點數(shù)據(jù)操作，但是并不太困難。我們可以使用該圖來確定數(shù)據(jù)或我們的預(yù)測中是否存在異常值。

# Use datetime for creating date objects for plotting import datetime # Dates of training values months = features[:, feature_list.index('month')] days = features[:, feature_list.index('day')] years = features[:, feature_list.index('year')] # List and then convert to datetime object dates = [str(int(year)) + '-' + str(int(month)) + '-' + str(int(day)) for year, month, day in zip(years, months, days)] dates = [datetime.datetime.strptime(date, '%Y-%m-%d') for date in dates] # Dataframe with true values and dates true_data = pd.DataFrame(data = {'date': dates, 'actual': labels}) # Dates of predictions months = test_features[:, feature_list.index('month')] days = test_features[:, feature_list.index('day')] years = test_features[:, feature_list.index('year')] # Column of dates test_dates = [str(int(year)) + '-' + str(int(month)) + '-' + str(int(day)) for year, month, day in zip(years, months, days)] # Convert to datetime objects test_dates = [datetime.datetime.strptime(date, '%Y-%m-%d') for date in test_dates] # Dataframe with predictions and dates predictions_data = pd.DataFrame(data = {'date': test_dates, 'prediction': predictions}) # Plot the actual values plt.plot(true_data['date'], true_data['actual'], 'b-', label = 'actual') # Plot the predicted values plt.plot(predictions_data['date'], predictions_data['prediction'], 'ro', label = 'prediction') plt.xticks(rotation = '60'); plt.legend() # Graph labels plt.xlabel('Date'); plt.ylabel('Maximum Temperature (F)'); plt.title('Actual and Predicted Values');

1

做一點點漂亮的圖形工作！看起來我們似乎沒有任何需要糾正的異常值。為了進一步診斷模型，我們可以繪制殘差（誤差）以查看我們的模型是否傾向于過度預(yù)測或預(yù)測不足，還可以查看殘差是否為正態(tài)分布。但是，我將制作一張最終圖表，顯示實際值，前一天的溫度，歷史平均值以及我們朋友的預(yù)測。這將使我們看到有用變量和不是那么有用的變量之間的區(qū)別

# Make the data accessible for plotting true_data['temp_1'] = features[:, feature_list.index('temp_1')] true_data['average'] = features[:, feature_list.index('average')] true_data['friend'] = features[:, feature_list.index('friend')] # Plot all the data as lines plt.plot(true_data['date'], true_data['actual'], 'b-', label = 'actual', alpha = 1.0) plt.plot(true_data['date'], true_data['temp_1'], 'y-', label = 'temp_1', alpha = 1.0) plt.plot(true_data['date'], true_data['average'], 'k-', label = 'average', alpha = 0.8) plt.plot(true_data['date'], true_data['friend'], 'r-', label = 'friend', alpha = 0.3) # Formatting plot plt.legend(); plt.xticks(rotation = '60'); # Lables and title plt.xlabel('Date'); plt.ylabel('Maximum Temperature (F)'); plt.title('Actual Max Temp and Variables')

1

找出所有界線有點困難，但是我們可以看到為什么前一天的最高溫度和歷史最高溫度對預(yù)測最高溫度有用，而我們的朋友卻沒有（不要放棄，但也許也不要對他們的估算值施加太大的壓力！）。這樣的圖形通常有助于提前制作，因此我們可以選擇要包含的變量，但是它們也可以用于診斷。就像在Anscombe的四重奏中一樣，圖形通常比定量數(shù)字更具啟發(fā)性，并且應(yīng)該成為任何機器學(xué)習(xí)工作流程的一部分。
結(jié)論
借助這些圖形，我們完成了一個完整的端到端機器學(xué)習(xí)示例！在這一點上，如果要改進模型，可以嘗試使用不同的超參數(shù)（設(shè)置）嘗試使用不同的算法，或者最好的方法是收集更多數(shù)據(jù)！任何模型的性能都與可以從中學(xué)習(xí)的有效數(shù)據(jù)量成正比，而我們使用的信息量非常有限。我鼓勵任何人嘗試并改進此模型并分享結(jié)果。在這里，您可以使用大量的在線（免費）資源來深入研究隨機森林理論和應(yīng)用。對于那些希望一本書涵蓋機器學(xué)習(xí)模型的理論和Python實現(xiàn)的人，我強烈建議使用Scikit-Learn和Tensorflow進行動手機器學(xué)習(xí)。此外，我希望所有通過學(xué)習(xí)的人都可以看到機器學(xué)習(xí)的普及程度.

總結(jié)

以上是生活随笔為你收集整理的随机森林 python_如何轻松使用python的随机森林的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。