十三 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

Scikit-learn，這個強大的Python包，一直深受機器學習玩家青睞。

而近日，scikit-learn 官方發布了 0.22 最終版本。

此次的更新修復了許多舊版本的bug，同時發布了一些新功能。

安裝最新版本 scikit-learn 也很簡單。

使用 pip ：

pip install --upgrade scikit-learn

使用 conda ：

conda install scikit-learn

接下來，就是此次更新的十大亮點。

全新 plotting API

對于創建可視化任務，scikit-learn 推出了一個全新 plotting API。

這個新API可以快速調整圖形的視覺效果，不再需要進行重新計算。

也可以在同一個圖形中添加不同的圖表。

例如：

from sklearn.model_selection import train_test_splitfrom sklearn.svm import SVCfrom sklearn.metrics import plot_roc_curvefrom sklearn.ensemble import RandomForestClassifierfrom sklearn.datasets import make_classificationimport matplotlib.pyplot as pltX, y = make_classification(random_state=0)X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)svc = SVC(random_state=42)svc.fit(X_train, y_train)rfc = RandomForestClassifier(random_state=42)rfc.fit(X_train, y_train)svc_disp = plot_roc_curve(svc, X_test, y_test)rfc_disp = plot_roc_curve(rfc, X_test, y_test, ax=svc_disp.ax_)rfc_disp.figure_.suptitle("ROC curve comparison")plt.show()

StackingClassifier和StackingRegressor

StackingClassifier 和 StackingRegressor 允許用戶擁有一個具有最終分類器/回歸器的估計器堆棧(estimator of stack)。

堆棧泛化(stacked generalization)是將各個估計器的輸出疊加起來，然后使用分類器來計算最終的預測。

基礎估計器擬合在完整的X( full X )上，而最終估計器則使用基于cross_val_predict的基礎估計器的交叉驗證預測進行訓練。

例如：

from sklearn.datasets import load_irisfrom sklearn.svm import LinearSVCfrom sklearn.linear_model import LogisticRegressionfrom sklearn.preprocessing import StandardScalerfrom sklearn.pipeline import make_pipelinefrom sklearn.ensemble import StackingClassifierfrom sklearn.model_selection import train_test_splitX, y = load_iris(return_X_y=True)estimators = [ ('rf', RandomForestClassifier(n_estimators=10, random_state=42)), ('svr', make_pipeline(StandardScaler(), LinearSVC(random_state=42)))]clf = StackingClassifier( estimators=estimators, final_estimator=LogisticRegression())X_train, X_test, y_train, y_test = train_test_split( X, y, stratify=y, random_state=42)clf.fit(X_train, y_train).score(X_test, y_test)

輸出：0.9473684210526315。

基于排列(permutation)的特征重要性

inspection.permutation_importance可以用來估計每個特征的重要性，對于任何擬合的估算器：

from sklearn.ensemble import RandomForestClassifierfrom sklearn.inspection import permutation_importanceX, y = make_classification(random_state=0, n_features=5, n_informative=3)rf = RandomForestClassifier(random_state=0).fit(X, y)result = permutation_importance(rf, X, y, n_repeats=10, random_state=0, n_jobs=-1)fig, ax = plt.subplots()sorted_idx = result.importances_mean.argsort()ax.boxplot(result.importances[sorted_idx].T, vert=False, labels=range(X.shape[1]))ax.set_title("Permutation Importance of each feature")ax.set_ylabel("Features")fig.tight_layout()plt.show()

對梯度提升提供缺失值的本地支持

ensemble.HistGradientBoostingClassifier 和 ensemble.HistGradientBoostingRegressor 現在對缺失值(NaNs)具有本機支持。這意味著在訓練或預測時無需插補數據。

from sklearn.experimental import enable_hist_gradient_boosting # noqafrom sklearn.ensemble import HistGradientBoostingClassifierimport numpy as npX = np.array([0, 1, 2, np.nan]).reshape(-1, 1)y = [0, 0, 1, 1]gbdt = HistGradientBoostingClassifier(min_samples_leaf=1).fit(X, y)print(gbdt.predict(X))

輸出：[0 0 1 1]。

預計算的稀疏近鄰圖

現在，大多數基于最近鄰圖的估算都接受預先計算的稀疏圖作為輸入，以將同一圖重用于多個估算量擬合。

要在pipeline中使用這個特性，可以使用 memory 參數，以及neighbors.KNeighborsTransformer和neighbors.RadiusNeighborsTransformer中的一個。

預計算還可以由自定義的估算器來執行。

from tempfile import TemporaryDirectoryfrom sklearn.neighbors import KNeighborsTransformerfrom sklearn.manifold import Isomapfrom sklearn.pipeline import make_pipelineX, y = make_classification(random_state=0)with TemporaryDirectory(prefix="sklearn_cache_") as tmpdir: estimator = make_pipeline( KNeighborsTransformer(n_neighbors=10, mode='distance'), Isomap(n_neighbors=10, metric='precomputed'), memory=tmpdir) estimator.fit(X) # We can decrease the number of neighbors and the graph will not be # recomputed. estimator.set_params(isomap__n_neighbors=5) estimator.fit(X)

基于Imputation的KNN

現在，scikit_learn 支持使用k近鄰來填充缺失值。

from sklearn.impute import KNNImputerX = [[1, 2, np.nan], [3, 4, 3], [np.nan, 6, 5], [8, 8, 7]]imputer = KNNImputer(n_neighbors=2)print(imputer.fit_transform(X))

輸出：
[[1. 2. 4. ]
[3. 4. 3. ]
[5.5 6. 5. ]
[8. 8. 7. ]]

樹剪枝

現在，在建立一個樹之后，可以剪枝大部分基于樹的估算器。

X, y = make_classification(random_state=0)rf = RandomForestClassifier(random_state=0, ccp_alpha=0).fit(X, y)print("Average number of nodes without pruning {:.1f}".format( np.mean([e.tree_.node_count for e in rf.estimators_])))rf = RandomForestClassifier(random_state=0, ccp_alpha=0.05).fit(X, y)print("Average number of nodes with pruning {:.1f}".format( np.mean([e.tree_.node_count for e in rf.estimators_])))

輸出：
Average number of nodes without pruning 22.3
Average number of nodes with pruning 6.4

從OpenML檢索dataframe

datasets.fetch_openml現在可以返回pandas dataframe，從而正確處理具有異構數據的數據集：

from sklearn.datasets import fetch_openmltitanic = fetch_openml('titanic', version=1, as_frame=True)print(titanic.data.head()[['pclass', 'embarked']])

輸出：
pclass embarked
0 1.0 S
1 1.0 S
2 1.0 S
3 1.0 S
4 1.0 S

檢查一個估算器的scikit-learn兼容性

開發人員可以使用check_estimator檢查其scikit-learn兼容估算器的兼容性。

現在，scikit-learn 提供了pytest特定的裝飾器(decorator)，該裝飾器允許pytest獨立運行所有檢查并報告失敗的檢查。

from sklearn.linear_model import LogisticRegressionfrom sklearn.tree import DecisionTreeRegressorfrom sklearn.utils.estimator_checks import parametrize_with_checks@parametrize_with_checks([LogisticRegression, DecisionTreeRegressor])def test_sklearn_compatible_estimator(estimator, check): check(estimator)

ROC AUC現在支持多類別分類

roc_auc_score 函數也可用于多類別分類。

目前支持兩種平均策略：

one-vs-one算法計算兩兩配對的ROC AUC分數的平均值；
one-vs-rest算法計算每個類別相對于所有其他類別的ROC AUC分數的平均值。

在這兩種情況下，模型都是根據樣本屬于特定類別的概率估計來計算多類別ROC AUC分數。

from sklearn.datasets import make_classificationfrom sklearn.svm import SVCfrom sklearn.metrics import roc_auc_scoreX, y = make_classification(n_classes=4, n_informative=16)clf = SVC(decision_function_shape='ovo', probability=True).fit(X, y)print(roc_auc_score(y, clf.predict_proba(X), multi_class='ovo'))

輸出：0.9957333333333332

傳送門

Twitter：
https://twitter.com/scikit_learn/status/1201847227561529346

博客：
https://scikit-learn.org/stable/auto_examples/release_highlights/plot_release_highlights_0_22_0.html#new-plotting-api

使用指南：
https://scikit-learn.org/stable/modules/model_evaluation.html#roc-metrics

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態

總結

以上是生活随笔為你收集整理的golang 升级到新版本_Scikit-learn新版本发布，一行代码秒升级的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。