? ? ? ? 概要：在林老的題目描述中，DECISION_STUMP（其實就是“決策樁”，也就是只有一層的決策樹）。題目中提到了的選去是把屬性（一維的）按照從小到大的順序排列以后取兩個挨著的值的平均值，網上有人的實現會在開頭和結尾的值手動去加一個小于最小的值，一個大于最大的值；添加的兩個值的大小是多大合適，這是個問題。帶來的另外一個問題就是，解釋性變差了；就像《西瓜書》上說的，我們按西瓜的甜度區分西瓜的好壞，你收集到了甜度值是 0.1,0.2,.0.5,0.6,0.9(忽略了好瓜、壞瓜的標志），但最后你用了0.35(假設算法取在了0.2和0.5之間）作為了區別好瓜和壞瓜的標準，這個值沒有在訓練數據中出現過，給人的感覺就是：唉，為什么是這個值，怎么得來的？所以《西瓜書》提到了可以直接選擇出現的這些值作為，有更好的解釋性。當然去均值的方式也是正確的。 但是本人更傾向于直接用出現的值來作為，所以算法中沒有對屬性進行排序，加一個大于最大以及一個小于最小值（在《西瓜書》中，取均值的時候也沒有做這個操作，而是直接排序，然后就取兩個相鄰值的平均值作為了）、取平均值的操作。

? ? ?舉例：有1，3, 2三個值：

（1）按照從小到大的順序排列以后取兩個挨著的值的平均值:1 2? ?3；會得到2個。

（2）按照從小到大的順序排列以后取兩個挨著的值的平均值，在開頭和結尾的值手動去加一個小于最小的值，一個大于最大的值：0? 1? ?2? ?3? ?4；會得到4個.

（3）直接取值，得到3個；

這三種方式有所區別，但對結果其實沒什么影響。下面的代碼使用的是（3）

?util.py（公共方法，加載數據用的）

# -*- coding:utf-8 -*- # Author: Evan Mi import numpy as npdef load_data(file_name):x = []y = []with open(file_name, 'r+') as f:for line in f:line = line.rstrip("\n")temp = line.split(" ")temp.insert(0, '1')x_temp = [float(val) for val in temp[:-1]]y_tem = [int(val) for val in temp[-1:]][0]x.append(x_temp)y.append(y_tem)nx = np.array(x)ny = np.array(y)return nx, ny decision_stump_one_dimension.py（對應一維的問題） # -*- coding:utf-8 -*- # Author: Evan Mi import numpy as npdef sign_zero_as_neg(x):"""這里修改了np自帶的sign函數，當傳入的值為0的時候，不再返回0，而是-1；也就是說在邊界上的點按反例處理:param x::return:"""result = np.sign(x)result[result == 0] = -1return resultdef data_generator(size):"""生成[-1, 1)之間的隨機數， 然后加入20%的噪聲，即20%的概率觀測值取了相反數:param size::return:"""x_arr = np.random.uniform(-1, 1, size)y_arr = sign_zero_as_neg(x_arr)y_arr = np.where(np.random.uniform(0, 1, size) < 0.2, -y_arr, y_arr)print(x_arr)print(y_arr)return x_arr, y_arrdef err_in_counter(x_arr, y_arr, s, theta):"""計算E_in:param x_arr:[[x1, x2, x3, ... ,xn][x1, x2, x3, ... ,xn][x1, x2, x3, ... ,xn]...[x1, x2, x3, ... ,xn]]:param y_arr:[[y1, y2, y3, ... ,yn][y1, y2, y3, ... ,yn][y1, y2, y3, ... ,yn]...[y1, y2, y3, ... ,yn]]:param s:{-1,1}:param theta:[[theta1, theta1, theta1, ... ,theta1][theta2, theta2, theta2, ..., theta2][theta3, theta3, theta3, ..., theta3]...[thetak, thetak, thetak, ..., thetak]]:return:[err_theta1, err_theta2, ..., err_thetak] 中最小的以及下標"""result = s * sign_zero_as_neg(x_arr - theta)err_tile = np.where(result == y_arr, 0, 1).sum(1)return err_tile.min(), err_tile.argmin()def err_out_calculator(s, theta):return 0.5 + 0.3 * s * (abs(theta) - 1)def decision_stump_1d(x_arr, y_arr):theta = x_arrtheta_tile = np.tile(theta, (len(x_arr), 1)).Tx_tile = np.tile(x_arr, (len(theta), 1))y_tile = np.tile(y_arr, (len(theta), 1))err_pos, index_pos = err_in_counter(x_tile, y_tile, 1, theta_tile)err_neg, index_neg = err_in_counter(x_tile, y_tile, -1, theta_tile)if err_pos < err_neg:return err_pos / len(y_arr), err_out_calculator(1, theta[index_pos])else:return err_neg / len(y_arr), err_out_calculator(-1, theta[index_neg])if __name__ == '__main__':avg_err_in = 0avg_err_out = 0for i in range(5000):x, y = data_generator(20)e_in, e_out = decision_stump_1d(x, y)avg_err_in = avg_err_in + (1.0 / (i + 1)) * (e_in - avg_err_in)avg_err_out = avg_err_out + (1.0 / (i + 1)) * (e_out - avg_err_out)print("e_in:", avg_err_in)print("e_out:", avg_err_out) decision_stump_multi_dimension.py（對應多維的問題） # -*- coding:utf-8 -*- # Author: Evan Mi import numpy as np from decison_stump import utildef sign_zero_as_neg(x):"""這里修改了np自帶的sign函數，當傳入的值為0的時候，不再返回0，而是-1；也就是說在邊界上的點按反例處理:param x::return:"""result = np.sign(x)result[result == 0] = -1return resultdef err_in_counter(x_arr, y_arr, s, theta):"""計算E_in:param x_arr:[[x1, x2, x3, ... ,xn][x1, x2, x3, ... ,xn][x1, x2, x3, ... ,xn]...[x1, x2, x3, ... ,xn]]:param y_arr:[[y1, y2, y3, ... ,yn][y1, y2, y3, ... ,yn][y1, y2, y3, ... ,yn]...[y1, y2, y3, ... ,yn]]:param s:{-1,1}:param theta:[[theta1, theta1, theta1, ... ,theta1][theta2, theta2, theta2, ..., theta2][theta3, theta3, theta3, ..., theta3]...[thetak, thetak, thetak, ..., thetak]]:return:[err_theta1, err_theta2, ..., err_thetak] 中最小的以及下標"""result = s * sign_zero_as_neg(x_arr - theta)err_tile = np.where(result == y_arr, 0, 1).sum(1)return err_tile.min(), err_tile.argmin()def err_out_counter(x_arr, y_arr, s, theta, dimension):temp = s * sign_zero_as_neg(x_arr.T[dimension] - theta)e_out = np.where(temp == y_arr, 0, 1).sum() / np.size(x_arr, 0)return e_outdef decision_stump_1d(x_arr, y_arr):theta = x_arrtheta_tile = np.tile(theta, (len(x_arr), 1)).Tx_tile = np.tile(x_arr, (len(theta), 1))y_tile = np.tile(y_arr, (len(theta), 1))err_pos, index_pos = err_in_counter(x_tile, y_tile, 1, theta_tile)err_neg, index_neg = err_in_counter(x_tile, y_tile, -1, theta_tile)if err_pos < err_neg:return err_pos / len(y_arr), index_pos, 1else:return err_neg / len(y_arr), index_neg, -1def decision_stump_multi_d(x, y):x = x.Tdimension, e_in, theta, s = 0, float('inf'), 0, 0for i in range(np.size(x, 0)):e_in_temp, index, s_temp = decision_stump_1d(x[i], y)if e_in_temp < e_in:dimension, e_in, theta, s = i, e_in_temp, x[i][index], s_temp# 錯誤率相等的時候隨機選擇if e_in_temp == e_in:pick_rate = np.random.uniform(0, 1)if pick_rate > 0.5:dimension, e_in, theta, s = i, e_in_temp, x[i][index], s_tempreturn dimension, e_in, theta, sif __name__ == '__main__':x_train, y_train = util.load_data('data/train.txt')x_test, y_test = util.load_data('data/test.txt')determined_dimension, e_in_result, theta_result, s_result = decision_stump_multi_d(x_train, y_train)print("E_IN:", e_in_result)print("E_OUT:", err_out_counter(x_test, y_test, s_result, theta_result, determined_dimension))

? 詳細項目代碼及代碼使用的數據見：DECISION_STUMP

總結

以上是生活随笔為你收集整理的机器学习基石作业二中的DECISION_STUMP实现的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。