在線學(xué)習(xí)與 MapReduce

在線學(xué)習(xí)

用戶登錄了某提供貨運服務(wù)的網(wǎng)站，輸入了貨運的發(fā)件地址和收件地址，該網(wǎng)站給出了貨運報價，用戶決定是購買該服務(wù)$（y=1）$或者是放棄購買該服務(wù)$（y=0）$。

特征向量 $x$ 包括了收發(fā)地址，報價信息，我們想要學(xué)習(xí) $p(y=1|x;\theta )$ 來最優(yōu)化報價：
$$重復(fù)直到收斂：$$$$獲得關(guān)于該用戶的樣本(x,y)，使用該樣本更新\theta ：$$$${\theta }_j:={\theta }_j?\alpha (h_{\theta }(x)?y)x_j,forj=0,...,n$$

這就是在線學(xué)習(xí)（Online learning），與前面章節(jié)提到的機器學(xué)習(xí)過程不同，在線學(xué)習(xí)并不需要一個固定的樣本集進行學(xué)習(xí)，而是不斷接收樣本，不斷通過接收到的樣本進行學(xué)習(xí)。因此，在線學(xué)習(xí)的前提是：我們面臨著流動的數(shù)據(jù)。

MapReduce

前面，我們提到了 Mini 批量梯度下降法，假定 $b=400,m=400,000,000$ ，我們對 $\theta$ 的優(yōu)化就為：
$${\theta }_j:={\theta }_j?\alpha \frac{1}{400}\sum _{i=1}^{400}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)},forj=0,...,n$$

假定我們有 4 個機器（Machine），我們首先通過 Map （映射）過程來并行計算式中的求和項，每個機器被分配到 100 個樣本進行計算：
$$tem{p}_j^{(1)}=\sum _{i=1}^{100}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$$$tem{p}_j^{(2)}=\sum _{i=101}^{200}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$$$tem{p}_j^{(3)}=\sum _{i=201}^{300}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$$$tem{p}_j^{(4)}=\sum _{i=301}^{400}(h_{\theta }(x^{(i)})?y^{(i)})x_j^{(i)}$$

最后，通過 Reduce（規(guī)約）操作進行求和：

$${\theta }_j:={\theta }_j?\alpha \frac{1}{400}(tem{p}_j^{(1)}+tem{p}_j^{(2)}+tem{p}_j^{(3)}+tem{p}_j^{(4)})$$

我們可以使用多臺機器進行 MapReduce，此時，Map 任務(wù)被分配到多個機器完成：

也可以使用單機多核心進行 MapReduce，此時，Map 任務(wù)被分配到多個 CPU 核心完成：

總結(jié)

以上是生活随笔為你收集整理的10.3 在线学习与 MapReduce-机器学习笔记-斯坦福吴恩达教授的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。