目錄

1）Learning with large datasets

2）Stochastic gradient descent

3）Mini-batch gradient descent

4）Stochastic gradient descent convergence

1）Learning with large datasets

回顧一下我們之前提到的這句話：

對于機器學習，我們首先都要考慮我們是否需要更多的數據，看一下我們的學習曲線：

2）Stochastic gradient descent

之前我們介紹的梯度下降算法用到的是整個訓練集，計算量很大，我們可以嘗試使用隨機梯度下降算法SGD。下圖是我們的批量梯度下降算法：

我們來看看隨機梯度下降算法與批量梯度下降算法的對比：

隨機梯度下降算法是：

1）單一樣本代價函數：

2）隨機打亂數據集；

3）重復m次；計算梯度，不需要對所有訓練集進行求和。一般迭代10次。

3）Mini-batch gradient descent

下面是批量梯度下降，隨機梯度下降，小批量梯度下降算法對訓練集的對比：

下面是小批量梯度下降算法：一般迭代20次。

4）Stochastic gradient descent convergence

總結

以上是生活随笔為你收集整理的机器学习笔记（十六）：大规模机器学习的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。