Batch

Tensorflow에서 학습시 batch size, step, epoch 란?

1. Batch size 연산 한 번에 들어가는 데이터의 크기를 말한다. 배치 사이즈가 너무 큰 경우 한 번에 처리해야 할 데이터의 양이 많아지므로, 학습 속도가 느려지고, 메모리 부족 문제가 발생할 위험이 있다. 반대로, 배치 사이즈가 너무 작은 경우 적은 데이터를 대상으로 가중치를 업데이트 하고, 이 업데이트가 자주 발생하므로 훈련이 불안정해진다. 2. Step iteration 이라고도 한다. 1-epoch를 마치는데 필요한 미니배치의 갯수 다른 말로, 1-epoch를 마치는데 필요한 파라미터(가중치) 업데이트 횟수 3. Epoch 전체 학습 데이터 셋이 모델을 통과한 횟수 epoch가 1이라면 전체 학습 데이터셋이 순전파와 역전파를 통해 신경망을 한번 통과했다는 의미 epoch가 10이라면 전체 ..