[TOC] 更新、更全的《機(jī)器學(xué)習(xí)》的更新網(wǎng)站，更有python、go、數(shù)據(jù)結(jié)構(gòu)與算法、爬蟲、人工智能教學(xué)等著你：https://www.cnblogs.com/nickchen121/p/11686958.html

AdaBoost算法代碼(鳶尾花分類)

一、導(dǎo)入模塊

import numpy as np

import matplotlib.pyplot as plt

from matplotlib.colors import ListedColormap

from matplotlib.font_manager import FontProperties

from sklearn.datasets import load_iris

from sklearn.tree import DecisionTreeClassifier

from sklearn.ensemble import AdaBoostClassifier

%matplotlib inline

font = FontProperties(fname='/Library/Fonts/Heiti.ttc')

二、導(dǎo)入數(shù)據(jù)

X = iris_data.data[:, [2, 3]]

y = iris_data.target

label_list = ['山鳶尾', '雜色鳶尾', '維吉尼亞鳶尾']

三、構(gòu)造決策邊界

def plot_decision_regions(X, y, classifier=None):

marker_list = ['o', 'x', 's']

color_list = ['r', 'b', 'g']

cmap = ListedColormap(color_list[:len(np.unique(y))])

x1_min, x1_max = X[:, 0].min()-1, X[:, 0].max()+1

x2_min, x2_max = X[:, 1].min()-1, X[:, 1].max()+1

t1 = np.linspace(x1_min, x1_max, 666)

t2 = np.linspace(x2_min, x2_max, 666)

x1, x2 = np.meshgrid(t1, t2)

y_hat = classifier.predict(np.array([x1.ravel(), x2.ravel()]).T)

y_hat = y_hat.reshape(x1.shape)

plt.contourf(x1, x2, y_hat, alpha=0.2, cmap=cmap)

plt.xlim(x1_min, x1_max)

plt.ylim(x2_min, x2_max)

for ind, clas in enumerate(np.unique(y)):

plt.scatter(X[y == clas, 0], X[y == clas, 1], alpha=0.8, s=50,

c=color_list[ind], marker=marker_list[ind], label=label_list[clas])

四、訓(xùn)練模型

4.1 訓(xùn)練模型(n_e=10, l_r=0.8)

adbt = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2, min_samples_split=20, min_samples_leaf=5),

algorithm="SAMME", n_estimators=10, learning_rate=0.8)

adbt.fit(X, y)

AdaBoostClassifier(algorithm='SAMME',

base_estimator=DecisionTreeClassifier(class_weight=None, criterion='gini', max_depth=2,

max_features=None, max_leaf_nodes=None,

min_impurity_decrease=0.0, min_impurity_split=None,

min_samples_leaf=5, min_samples_split=20,

min_weight_fraction_leaf=0.0, presort=False, random_state=None,

splitter='best'),

learning_rate=0.8, n_estimators=10, random_state=None)

4.2 可視化

plot_decision_regions(X, y, classifier=adbt)

plt.xlabel('花瓣長度(cm)', fontproperties=font)

plt.ylabel('花瓣寬度(cm)', fontproperties=font)

plt.title('AdaBoost算法代碼(鳶尾花分類, n_e=10, l_r=0.8)',

fontproperties=font, fontsize=20)

plt.legend(prop=font)

plt.show()

_11_0.png?x-oss-process=style/watermark)

print("Score:{}".format(adbt.score(X, y)))

Score:0.9866666666666667

4.3 訓(xùn)練模型(n_estimators=300, learning_rate=0.8)

adbt = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2, min_samples_split=20, min_samples_leaf=5),

algorithm="SAMME", n_estimators=300, learning_rate=0.8)

adbt.fit(X, y)

print("Score:{}".format(adbt.score(X, y)))

Score:0.9933333333333333

由于樣本太少，可能效果不明顯，但是對比上一個模型可以發(fā)現(xiàn)，相同步長的情況下，如果弱學(xué)習(xí)個數(shù)越多，擬合效果越好，但如果過多則可能過擬合。

4.4 訓(xùn)練模型(n_estimators=300, learning_rate=0.5)

adbt = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2, min_samples_split=20, min_samples_leaf=5),

algorithm="SAMME", n_estimators=300, learning_rate=0.001)

adbt.fit(X, y)

print("Score:{}".format(adbt.score(X, y)))

Score:0.9533333333333334

相同迭代次數(shù)的情況下，對比上一個模型可以發(fā)現(xiàn)，如果步長越大，則模型效果越好。

4.5 訓(xùn)練模型(n_estimators=600, learning_rate=0.7)

adbt = AdaBoostClassifier(DecisionTreeClassifier(max_depth=2, min_samples_split=20, min_samples_leaf=5),

algorithm="SAMME", n_estimators=600, learning_rate=0.8)

adbt.fit(X, y)

print("Score:{}".format(adbt.score(X, y)))

Score:0.9933333333333333

對比第二個模型，可以發(fā)現(xiàn)即使增加迭代次數(shù)，算法準(zhǔn)確率也沒有提高，所以n_estimators=300的時候其實(shí)算法就已經(jīng)收斂了。

總結(jié)

以上是生活随笔為你收集整理的adaboost算法java代码_04-04 AdaBoost算法代码(鸢尾花分类)的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。