경사하강법

Gradient Descent(경사하강법), Optimizer 종류

인공신경망에서 학습을 통해 가중치 W의 값을 구하는 것이 목표다. 오차를 구한다 - 학습 계산을 위해, 가중치 초기값은 랜덤 설정한다. 오차가 최소가 된다는 의미는? - 정확도가 높다, 학습이 잘 되었다, 예측이나 분류가 잘 된다. 오차가 최소가 될 때 까지 가중치 값을 구한다. - 입력 데이터를 계속 넣어서 가중치를 업데이트 해 나간다. 경사하강법 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를때까지 반복 오차/손실 함수(error/loss function)를 이용하여 기울기의 크기를 줄임 학습률(Learning rate) 아래 그림에서 보다시피 학습률이 너무 낮으면 학습이 오래 걸리고 학습률이 너무 높으면 이상한 방향으로 튀어 나가 최소값을 못 찾는다. 다양한 옵티마이저