單層感知機模型

$$\begin{gathered} y=XW+b \\ y=\sum x_i?w_i+b \end{gathered}$$

單層感知機模型的每一個輸入節(jié)點$x_i$和對應(yīng)的權(quán)重$w_i$相乘累加后，與bias相加，便得到了預(yù)測值。

我們使用sigmoid函數(shù)作為激活函數(shù)，通常使用符號$\sigma$表示。
對于最左邊的輸入層的上標(biāo)，也就是$x_n^0$中的0表示第0層，n表示第0層第n個元素節(jié)點。

從$w$到$\sigma$是1層，$w_{ij}^1$表示第1層,i表示連接的上一層$x_i$，j表示本層的第j個節(jié)點。因為上圖中只有一層，所以j=0 。$x_0^1$中1表示第一層，0表示第一層的0號節(jié)點【這里討論單層輸出感知機，所以第一層只有一個節(jié)點】。$x_0^1$經(jīng)過激活函數(shù)之后，有一個輸出值$O_0^1$，其中1表示第一層，0表示第0號節(jié)點。

隨后，$O_0^1$與target值計算：$Error（Loss）=\sum (O_0^1?target{)}^2$

梯度

Loss計算公式：
$$E=\frac{1}{2}(O_0^1?t{)}^2$$
這里引入了一個額外的$\frac{1}{2}$是為了與求導(dǎo)后的數(shù)2抵消掉。不會影響單調(diào)性的。
$$\begin{gathered} \frac{?E}{?w_{j0}}=(O_0?t)?\frac{O_0}{?w_{j0}} \\ \frac{?E}{?w_{j0}}=(O_0?t)\frac{\sigma (x_0^1)}{?w_{j0}} \\ \frac{?E}{?w_{j0}}=(O_0?t)\sigma (x_0)(1?\sigma (x_0))\frac{?x_0^1}{?w_{j0}} \end{gathered}$$
求導(dǎo)之前需要先向右計算一次所有的變量值，這就是向前傳播
$$\frac{?x_0}{?w_{j0}}=\frac{?\sum w_{j0}{x}_j^0}{?w_{j0}}=x_j^0$$
因此上面的公式得到最終結(jié)果：
$$\frac{?E}{?w_{j0}}=(O_0?t))O_0(1?O_0)x_j^0$$

方法實現(xiàn)

輸入10個特征的x

x = torch.randn(1,10) # tensor([[ 0.5817, -1.1089, -0.9756, -0.4556, -0.2144, -1.1662, 1.9232, 0.2331, # -1.2987, -0.4950]]) w = torch.randn(1,10,requires_grad = True) # tensor([[-1.0490, -1.7553, 0.1665, -0.0458, -0.8664, -0.3328, -0.1398, 1.2416, # 1.3097, -0.4996]], requires_grad=True) o = torch.sigmoid(x@w.t()) # tensor([[0.5831]], grad_fn=<SigmoidBackward>) loss = F.mse_loss(torch.ones(1,1),o) # tensor(0.1738, grad_fn=<MseLossBackward>) loss.backward() w.grad # tensor([[-0.1179, 0.2248, 0.1977, 0.0923, 0.0435, 0.2364, -0.3898, -0.0472, # 0.2632, 0.1003]])

這樣就得到了每一個$w$的梯度，隨后可以根據(jù)$w^{\prime }=w?0.001??w$來更新參數(shù)了。

總結(jié)

以上是生活随笔為你收集整理的PyTorch教程（十）：单层感知机以及梯度更新的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。