뉴럴 네트워크(Neural Network)란? - 학습률, 가중치 업데이트 최종식

▶학습률

​업데이트 된 새로운 가중치는, 방금 구한 오차 기울기에서 상수를 곱한 값을 원래 가중치에서 빼줌으로써

구할 수 있다. 빼는 이유는 양의 기울기 일 경우에는 가중치를 줄이고, 음의 기울기 일경우에는 가중치를 늘리기 위함이다.

( 부호를 반대로 함으로써, 실제 참값에 더 가까이 가기 위함이다. )

​​

​

상수 알파는 오버슈팅을 방지하기 위해 변화의 강도를 조절하는 역할을 하며, 학습률 이라고 한다.

이 식에서, 앞에서 배운 오차율의 값을 대입하고, 단순 상수인 학습률을 생략하여, 행렬의 식으로 나타낸다면 다음과 같이 나타낼 수 있다.

​여기서 맨 우측항은 i, j, k 의 계층이 있다고 가정했을 때, k의 이전 계층인 j의 결과 값인 O_ j 이다. (그 이유는 앞선 게시물에서 설명했다)

 

오차율을 고려한 최종 가중치 업데이트 행렬은 다음과 같다.

​

​

 

​즉, 신경망을 개선한다는 것은 가중치 변화를 통해 오차를 줄인다는 뜻 이며, 오차 기울기는 미분을 통해 계산된다.