在線學(xué)習(xí)與 MapReduce

在線學(xué)習(xí)

用戶登錄了某提供貨運(yùn)服務(wù)的網(wǎng)站，輸入了貨運(yùn)的發(fā)件地址和收件地址，該網(wǎng)站給出了貨運(yùn)報(bào)價(jià)，用戶決定是購(gòu)買該服務(wù)$（y=1）$或者是放棄購(gòu)買該服務(wù)$（y=0）$。

特征向量 $x$ 包括了收發(fā)地址，報(bào)價(jià)信息，我們想要學(xué)習(xí) $p(y=1|x;\theta )$ 來(lái)最優(yōu)化報(bào)價(jià)：
$$重復(fù)直到收斂：$$$$獲得關(guān)于該用戶的樣本(x,y)，使用該樣本更新\theta ：$$$${\theta }_j:={\theta }_j?\alpha (h_{\theta }(x)?y)x_j,forj=0,...,n$$

這就是在線學(xué)習(xí)（Online learning），與前面章節(jié)提到的機(jī)器學(xué)習(xí)過(guò)程不同，在線學(xué)習(xí)并不需要一個(gè)固定的樣本集進(jìn)行學(xué)習(xí)，而是不斷接收樣本，不斷通過(guò)接收到的樣本進(jìn)行學(xué)習(xí)。因此，在線學(xué)習(xí)的前提是：我們面臨著流動(dòng)的數(shù)據(jù)。

MapReduce

前面，我們提到了 Mini 批量梯度下降法，假定 $b=400,m=400,000,000$ ，我們對(duì) $\theta$ 的優(yōu)化就為：
$${\theta }_j:={\theta }_j?\alpha \frac{1}{400}\sum _{i=1}^{400}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)},forj=0,...,n$$

假定我們有 4 個(gè)機(jī)器（Machine），我們首先通過(guò) Map （映射）過(guò)程來(lái)并行計(jì)算式中的求和項(xiàng)，每個(gè)機(jī)器被分配到 100 個(gè)樣本進(jìn)行計(jì)算：
$$tem{p}_j^{(1)}=\sum _{i=1}^{100}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$$$tem{p}_j^{(2)}=\sum _{i=101}^{200}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$$$tem{p}_j^{(3)}=\sum _{i=201}^{300}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$$$tem{p}_j^{(4)}=\sum _{i=301}^{400}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$

最后，通過(guò) Reduce（規(guī)約）操作進(jìn)行求和：

$${\theta }_j:={\theta }_j?\alpha \frac{1}{400}(tem{p}_j^{(1)}+tem{p}_j^{(2)}+tem{p}_j^{(3)}+tem{p}_j^{(4)})$$

我們可以使用多臺(tái)機(jī)器進(jìn)行 MapReduce，此時(shí)，Map 任務(wù)被分配到多個(gè)機(jī)器完成：

也可以使用單機(jī)多核心進(jìn)行 MapReduce，此時(shí)，Map 任務(wù)被分配到多個(gè) CPU 核心完成：

總結(jié)

以上是生活随笔為你收集整理的10.3 在线学习与 MapReduce-机器学习笔记-斯坦福吴恩达教授的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。