1. 오차역전파법

오차역전파법은 가중치 매개변수의 기울기를 효율적으로 계산할 수 있는 방법이다. 매개변수의 기울기를 구하는 방법은 대표적으로 수치 미분을 써서 구하는 방법과 해석적 방법이 있다. 오차역전파법은 해석적 방법으로, 느린 수치 미분에 비해 매개변수가 많아도 효율적으로 계산할 수 있다.

2. 계산 그래프로 역전파 이해하기

<aside> 💡 1개에 100원인 사과를 2개, 1개에 150원인 귤을 3개 구매했을 때, 소비세가 10%라면 지불 금액은 얼마?

</aside>

• 계산을 왼쪽에서 오른쪽으로 진행하는 단계를 순전파라고 한다.
• 오른쪽에서 왼쪽으로 진행하는 단계를 역전파라고 한다.

2.1. 계산그래프의 이점

• 전체가 아무리 복잡해도 각 노드에서는 단순한 계산만 이루어져 문제를 단순화 할 수 있다.

• 중간 계산 결과를 보관할 수 있다.

• 역전파로 미분을 효율적으로 계산할 수 있다.

  

  역전파에 의한 미분 값의 전달

  → 사과가 1원 오르면 최종 금액은 2.2원 오른다.

2.2. 계산그래프의 역전파