Tensorflow에서 학습시 batch size, step, epoch 란?

1. Batch size

 

• 연산 한 번에 들어가는 데이터의 크기를 말한다.
• 배치 사이즈가 너무 큰 경우 한 번에 처리해야 할 데이터의 양이 많아지므로, 학습 속도가 느려지고, 메모리 부족 문제가 발생할 위험이 있다.
• 반대로, 배치 사이즈가 너무 작은 경우 적은 데이터를 대상으로 가중치를 업데이트 하고, 이 업데이트가 자주 발생하므로 훈련이 불안정해진다.

 

 

2. Step

 

• iteration 이라고도 한다.
• 1-epoch를 마치는데 필요한 미니배치의 갯수
• 다른 말로, 1-epoch를 마치는데 필요한 파라미터(가중치) 업데이트 횟수

 

3. Epoch

• 전체 학습 데이터 셋이 모델을 통과한 횟수
• epoch가 1이라면 전체 학습 데이터셋이 순전파와 역전파를 통해 신경망을 한번 통과했다는 의미
• epoch가 10이라면 전체 학습 데이터셋을 모델에 10회 학습시켰다는 의미다.

Epoch가 1인 경우

Epoch가 3인 경우