只有在數據很龐大的時候（在機器學習中，幾乎任何時候都是），我們才需要使用?epochs，batch?size，迭代這些術語，在這種情況下，一次性將數據輸入計算機是不可能的。因此，為了解決這個問題，我們需要把數據分成小塊，一塊一塊的傳遞給計算機，在每一步的末端更新神經網絡的權重，擬合給定的數據。

EPOCH

當一個完整的數據集通過了神經網絡一次并且返回了一次，這個過程稱為一個?epoch。

然而，當一個?epoch?對于計算機而言太龐大的時候，就需要把它分成多個小塊。

為什么要使用多于一個?epoch？

我知道這剛開始聽起來會很奇怪，在神經網絡中傳遞完整的數據集一次是不夠的，而且我們需要將完整的數據集在同樣的神經網絡中傳遞多次。但是請記住，我們使用的是有限的數據集，并且我們使用一個迭代過程即梯度下降，優化學習過程和圖示。因此僅僅更新權重一次或者說使用一個?epoch?是不夠的。

隨著?epoch?數量增加，神經網絡中的權重的更新次數也增加，曲線從欠擬合變得過擬合。

BATCH?SIZE（批大小）

一個?batch?中的樣本總數。記住：batch?size?和?number?of?batches?是不同的。

batchsize的正確選擇是為了在內存效率和內存容量之間尋找最佳平衡

BATCH?是什么？

在不能將數據一次性通過神經網絡的時候，就需要將數據集分成幾個?batch。

迭代

迭代是?batch?需要完成一個?epoch?的次數。記住：在一個?epoch?中，batch?數和迭代數是相等的。

比如對于一個有?2000?個訓練樣本的數據集。將?2000?個樣本分成大小為?500?的?batch，那么完成一個?epoch?需要?4?個?iteration。

?

轉載于:https://www.cnblogs.com/lucky466/p/10207517.html

總結

以上是生活随笔為你收集整理的EPOCH batchsize的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。