Machine Learning/Deep Learning

Back propagation(오차 역전파)

Back propagation 출력층에서 제시한 값이 실제 원하는 값에 가까워지도록 학습하기 위해 사용하는 기법 동일 입력층에 대해 원하는 값이 출력되도록 개개의 가중치를 조정하는 방법으로 사용 출력층에서 입력층까지 오차를 전달하여 가중치를 수정해나가는 알고리즘 오차를 구하여 오차가 최소가 될 때까지 가중치의 값을 변경 오차 : 데이터에 존재하는 목표 값 - 심층 신경망이 계산한 값

Gradient Descent(경사하강법), Optimizer 종류

인공신경망에서 학습을 통해 가중치 W의 값을 구하는 것이 목표다. 오차를 구한다 - 학습 계산을 위해, 가중치 초기값은 랜덤 설정한다. 오차가 최소가 된다는 의미는? - 정확도가 높다, 학습이 잘 되었다, 예측이나 분류가 잘 된다. 오차가 최소가 될 때 까지 가중치 값을 구한다. - 입력 데이터를 계속 넣어서 가중치를 업데이트 해 나간다. 경사하강법 함수의 기울기를 구하고 경사의 반대 방향으로 계속 이동시켜 극값에 이를때까지 반복 오차/손실 함수(error/loss function)를 이용하여 기울기의 크기를 줄임 학습률(Learning rate) 아래 그림에서 보다시피 학습률이 너무 낮으면 학습이 오래 걸리고 학습률이 너무 높으면 이상한 방향으로 튀어 나가 최소값을 못 찾는다. 다양한 옵티마이저

인공신경망(ANN) 기초

1. 인공 신경망 (Artificial Neural Network, ANN) 생물학의 신경망(동물의 중추신경계 중 특히 뇌)에서 영감을 얻은 통계학적 학습 알고리즘 시냅스의 결합으로 네트워크를 형성한 인공 뉴런(노드)이 학습을 통해 시냅스의 결합 세기를 변화시켜 문제 해결 능력을 가지는 모델 2. 인공 신경망의 활성 함수 (Activation Function) 인공 신경망에서 입력을 변환하는 함수 대표적으로 ReLU, 시그모이드 함수 등 3. ANN Layers 인풋 > 결과 > 인풋 > 결과 ... 를 통해, 최종 출력까지 간다. (forward propagation) 각 노드 연결을 나타내는 숫자(가중치 w) 값을 구하는 것이 핵심 여러 개의 은닉층으로 이 층이 깊어진 것이 심층신경망(Deep Neu..