作為數據建模開發者，我們期望利用機器學習模型來分析數據和解決商業問題。無論我們是開發一個簡單的模型還是一個復雜的模型，模型驗證對于衡量我們工作都是至關重要。

在本文中，我將分享三個非常棒的 Python 工具包，它們可以讓我們驗證機器學習模型時變得更輕松。

1、Evidently

Evidently 是一個用于分析和監控機器學習模型的開源 python 包。開發該軟件包的目的是建立一個易于監控的機器學習儀表盤，并檢測數據中的漂移。它是專門為生產而設計的，所以在有數據管道的情況下使用它會更好。然而，即使在開發階段，您仍然可以使用它。

讓我們試著用它來驗證我們的機器學習模型開發。在現實環境中，我們會有一個參考數據集和生產數據集，但對于我們現在的情況，讓我們使用訓練和測試數據。

作為初學者，我們需要安裝軟件包

pip?install?evidently

安裝包后，我們可以嘗試檢測數據集中發生的數據漂移。數據漂移是指參考數據或之前時間線中的數據與當前數據在統計上存在差異的現象。

import?pandas?as?pd train?=?pd.read_csv('churn-bigml-80.csv') test?=?pd.read_csv('churn-bigml-20.csv')

數據集需要預處理，我現在只想使用數字數據

train.drop(['State',?'International?plan',?'Voice?mail?plan'],?axis?=1,inplace?=?True) test.drop(['State',?'International?plan',?'Voice?mail?plan'],?axis?=1,?inplace?=?True) train['Churn']?=?train['Churn'].apply(lambda?x:?1?if?x?==?True?else?0) test['Churn']?=?test['Churn'].apply(lambda?x:?1?if?x?==?True?else?0)

數據準備好后，我們將構建儀表板來檢測任何漂移。顯然需要我們獨立導入每個標簽；對于數據漂移，我們將使用 DataFloftTab。

from?evidently.dashboard?import?Dashboard from?evidently.tabs?import??DataDriftTab data_drift_report?=?Dashboard(tabs=[DataDriftTab()]) data_drift_report.calculate(train,?test,?column_mapping?=?None) data_drift_report.save("reports/my_report.html")

我們將數據保存在 HTML 報告中，并在另一個選項卡中打開它。

正如你在上面看到的，有一個監視器儀表板。我們可以在這個儀表板中看到每個特征分布和數據漂移的統計測試。在我們的樣本中，訓練數據和測試數據之間沒有顯示任何漂移，這意味著所有數據分布都是相似的。

它也可以用來創建一個機器學習分類儀表板來監控機器學習的健康狀況。例如，讓我們使用之前的數據訓練一個分類模型。

from?sklearn.neighbors?import X_train?=?train.drop('Churn',?axis?=1) X_test?=?test.drop('Churn',?axis?=1) y_train?=?train['Churn'] y_test?=?test['Churn'] model?=?KNeighborsClassifier(n_neighbors=5) model.fit(X_train,?y_train)

在擬合模型之后，我們需要實際結果和預測結果。我們還需要訓練和測試數據集完好無損。

train_predictions?=?model.predict(X_train) test_predictions?=?model.predict(X_test) X_train['target']?=?y_train X_train['prediction']?=?train_predictions X_test['target']?=?y_test X_test['prediction']?=?test_predictions

監視器還需要我們映射我們使用的列。在本例中，我們將使用中的 ColumnMapping 進行設置。

from?evidently.pipeline.column_mapping?import?ColumnMapping churn_column_mapping?=?ColumnMapping() churn_column_mapping.target?=?'target' churn_column_mapping.prediction?=?'prediction' churn_column_mapping.numerical_features?=train.drop('Churn',?axis?=1).columns

所有準備工作完成后，讓我們設置分類器監視器儀表板。

from?evidently.tabs.base_tab?import?Verbose from?evidently.tabs?import?ClassificationPerformanceTab churn_model_performance_dashboard?=?Dashboard(tabs=[ClassificationPerformanceTab(verbose_level=Verbose.FULL)]) churn_model_performance_dashboard.calculate(X_train,?X_test,?column_mapping?=?churn_column_mapping) churn_model_performance_dashboard.save("reports/classification_churn.html")

圖如下

?

如上面所示，我們可以監控機器學習模型指標和每個特征的預測，可以知道在接收新數據時是否存在差異。

官方文檔：`https://docs.evidentlyai.com/

2、Deepchecks

Deepchecks 是一個 python 工具包，只需用幾行代碼就可以驗證我們的機器學習模型。許多 API 可用于檢測數據漂移、標簽漂移、列車測試比較、評估模型等。Deepchecks 非常適合在研究階段和模型投產前使用。

首先，讓我們安裝 Deepchecks 包。

pip?install?deepchecks

安裝完成后，我們需要準備訓練數據集和機器學習模型。對于我們的示例，我將使用 deepchecks 中的 Iris 數據集。

import?pandas?as?pd from?deepchecks.datasets.classification?import?iris from?sklearn.ensemble?import?RandomForestClassifier #?Load?Data iris_df?=?iris.load_data(data_format='Dataframe',?as_train_test=False)

加載數據后，我們需要拆分訓練、測試數據并加載機器學習模型。你可以用模型來擬合數據，我使用現成的模型。

df_train,?df_test?=?iris.load_data(data_format='Dataframe',?as_train_test=True) label_col?=?"target" rf_clf?=?iris.load_fitted_model()

如果 Deepchecks 將 Pandas 數據幀轉換為 Deepchecks 數據集對象，那么數據會更好處理。

from?deepchecks?import?Dataset ds_train?=?Dataset(df_train,?label=label_col,?cat_features=[]) ds_test?=??Dataset(df_test,??label=label_col,?cat_features=[])

一切都準備好了。我們只需要在 Jupyter notebook 上運行即可。

from?deepchecks.suites?import?full_suite suite?=?full_suite() suite.run(train_dataset=ds_train,?test_dataset=ds_test,?model=rf_clf)

如下圖

完整報告包含許多信息，例如混淆矩陣、簡單模型比較、混合數據類型、數據漂移等。檢查機器學習模型所需的所有信息都可以在單個代碼運行中獲得。

3、TFDV

TFDV(TensorFlow Data Validation) 是 TensorFlow 開發人員開發的用于管理數據質量問題的 python 包。它用于自動描述數據統計、推斷數據模式以及檢測傳入數據中的任何異常。

讓我們嘗試安裝軟件包

pip?install?tensorflow-data-validation

首先，我們需要導入包并從 CSV 數據生成統計對象。我使用我們之前使用的數據集作為參考數據集。

import?tensorflow_data_validation?as?tfdv stats?=?tfdv.generate_statistics_from_csv(data_location='churn-bigml-80.csv')

可以將統計對象的統計信息可視化。

tfdv.visualize_statistics(stats)

如圖所示

TFDV 包不僅限于生成統計可視化，還有助于檢測傳入數據中的任何變化。為此，我們需要推斷原始或參考數據模式。

schema?=?tfdv.infer_schema(stats) tfdv.display_schema(schema)

該模式將用于針對任何傳入數據進行驗證,如果傳入數據沒有在模式中推斷出任何列或類別，那么 TFDV 將通知異常的存在。我們將使用以下代碼和測試數據來實現這一點。

new_csv_stats?=?tfdv.generate_statistics_from_csv(data_location='churn-bigml-20.csv')anomalies?=?tfdv.validate_statistics(statistics=new_csv_stats,?schema=schema) tfdv.display_anomalies(anomalies)

結論

機器學習模型項目不是一次性的,它是一個持續的過程。如果存在任何異常，則需要對生產中的模型進行持續監控。今天分享了三個 python 工具包，我希望這對你有幫助！

（完）往期精彩回顧適合初學者入門人工智能的路線及資料下載(圖文+視頻)機器學習入門系列下載中國大學慕課《機器學習》（黃海廣主講）機器學習及深度學習筆記等資料打印《統計學習方法》的代碼復現專輯 AI基礎下載機器學習交流qq群955171419，加入微信群請掃碼：

與50位技術專家面對面20年技術見證，附贈技術全景圖

總結

以上是生活随笔為你收集整理的【机器学习】机器学习模型验证，这3个 Python 包可轻松解决95%的需求！的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。