Gradient Descent(경사하강법), Optimizer 종류

인공신경망에서 학습을 통해 가중치 W의 값을 구하는 것이 목표다.

 

1.  오차를 구한다
   - 학습 계산을 위해, 가중치 초기값은 랜덤 설정한다.
2.  오차가 최소가 된다는 의미는?
   - 정확도가 높다, 학습이 잘 되었다, 예측이나 분류가 잘 된다.
3.  오차가 최소가 될 때 까지 가중치 값을 구한다.
   - 입력 데이터를 계속 넣어서 가중치를 업데이트 해 나간다.

 

경사하강법

 

함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를때까지 반복

• 오차/손실 함수(error/loss function)를 이용하여 기울기의 크기를 줄임

 

 

 

 

 

학습률(Learning rate)

 

아래 그림에서 보다시피 학습률이 너무 낮으면 학습이 오래 걸리고

학습률이 너무 높으면 이상한 방향으로 튀어 나가 최소값을 못 찾는다.

 

 

다양한 옵티마이저