文章目錄

• 感知機(jī)模型：
• 感知機(jī)模型的隨機(jī)梯度下降：
• 感知機(jī)模型的算法描述：
• 感知機(jī)的代碼實(shí)現(xiàn)：

感知機(jī)模型：

尋找一個(gè)超平面使數(shù)據(jù)集線性可分，尋找超平面的過(guò)程可以轉(zhuǎn)化為最小化一個(gè)損失函數(shù)的過(guò)程：

如何的來(lái)的？二元分類，y = +1使w?xi+b>0, y = -1使w?xi+b<0。

注意：需要強(qiáng)調(diào)的是，|w?xi+b|所描述的“相對(duì)距離”和我們直觀上的“歐氏距離”或說(shuō)“幾何距離”是不一樣的（事實(shí)上它們之間相差了一個(gè)∥w∥）。

感知機(jī)模型的隨機(jī)梯度下降：

感知機(jī)模型的算法描述：

簡(jiǎn)單描述為：利用分錯(cuò)的點(diǎn)更新參數(shù)w和b，直到?jīng)]有分錯(cuò)的點(diǎn)位置。
怎么選取分錯(cuò)的點(diǎn)，要么隨機(jī)選取，要么選擇分錯(cuò)的樣本里面權(quán)重最大的點(diǎn)。

# 打亂標(biāo)號(hào)_indices = np.random.permutation(len(y))# 取分錯(cuò)最嚴(yán)重的標(biāo)號(hào)，沒(méi)有樣本權(quán)重，取打亂后第一個(gè)分錯(cuò)的標(biāo)號(hào)_idx = _indices[np.argmax(_err[_indices])]

感知機(jī)的代碼實(shí)現(xiàn)：

# -*- coding: utf-8 -*-import numpy as np from Util.Bases import ClassifierBaseclass Perceptron(ClassifierBase):def __init__(self):super(Perceptron,self).__init__()self._w = Noneself._b = Nonedef fir(self, x, y, sample_weight=None, lr = 0.01,epoch = 10**6):x = np.atleast_2d(x)y = np.array(y)if sample_weight is None:sample_weight = np.ones(len(y))else:# 這里的sample_weight為樣本個(gè)數(shù)sample_weight = np.array(sample_weight) * len(y)# 初始化w,bself._w = np.zeros(x.shape[1])self._b = 0# 訓(xùn)練for _ in range(epoch):# 得到預(yù)測(cè)值y_pred = self.predict(x)# 得到分錯(cuò)的向量：[樣本] = 每個(gè)樣本分錯(cuò)的權(quán)重，未分錯(cuò)為0_err = (y_pred != y) * sample_weight# 打亂標(biāo)號(hào)_indices = np.random.permutation(len(y))# 取分錯(cuò)最嚴(yán)重的標(biāo)號(hào)，沒(méi)有樣本權(quán)重，取打亂后第一個(gè)分錯(cuò)的標(biāo)號(hào)_idx = _indices[np.argmax(_err[_indices])]# 都沒(méi)有分錯(cuò)時(shí)，取得時(shí)分對(duì)了的標(biāo)號(hào)，這是樣本全部分對(duì)了，退出if y_pred[_idx] == y[_idx]:return# 根據(jù)尋去的最大分錯(cuò)的方向yi,對(duì)應(yīng)梯度lr*yi*xi_delta = lr * y[_idx] *sample_weight[_idx]self._w += _delta*x[_idx]y += _deltadef predict(self, x, get_raw_result = False):# np.sum相當(dāng)于點(diǎn)乘的計(jì)算rs = np.sum(self._w *x,axis=1) + self._bif not get_raw_result:return np.sign(rs)return rs

總結(jié)

以上是生活随笔為你收集整理的机器学习：从感知机模型体会随机梯度下降的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。