天天看點

神經網絡中epoch與iteration相等嗎?

一般情況(大多數時候),神經網絡中epoch與iteration是不相等的。

batchsize:中文翻譯為批大小(批尺寸)。在深度學習中,一般采用SGD訓練,即每次訓練在訓練集中取batchsize個樣本訓練。

iteration:中文翻譯為疊代,1個iteration等于使用batchsize個樣本訓練一次;一個疊代 = 一個正向通過+一個反向通過。

epoch:疊代次數,1個epoch等于使用訓練集中的全部樣本訓練一次;一個epoch = 所有訓練樣本的一個正向傳遞和一個反向傳遞。

舉個例子,訓練集有1000個樣本,batchsize=10,那麼:

訓練完整個樣本集需要:

100次iteration,1次epoch。

有時候,在有的文章中,iteration=epoch.

繼續閱讀