단층 퍼셉트론은 모든 신호가 0 또는 1로만 이루어짐.
입력 값과 가중치를 곱한 합이 임계치를 넘어야만 활성화 됨.
입력신호(변수)에 가중치(계수)를 곱한 값만 이용하기 때문에 선형적인 문제(직선 하나로 영역을 구분할 수 있는 문제)만 해결할 수 있음.
신경망은 입력층, 은닉층, 출력층으로 이루어져 있고, 은닉층의 뉴런은 입력층이나 출력층과 다르게 어떤 값으로 이루어져 있는지, 출력 값은 얼마인지 알 수 없다.
<aside> 💡 XOR 게이트와 같은 비선형 문제를 해결하기 위해 나온 모델이 다층 퍼셉트론이다. 그러나 처음에 다층 퍼셉트론은 비선형 문제를 구현 할 수는 있었으나, 그 때 필요한 가중치를 찾아내는 학습은 잘 되지 않았다. 왜냐면, 정확도가 최대가 되는 환경을 찾기 위해 미분을 많이 사용하는데, 입력신호와 가중치로 계산한 결과 값이 모두 0 또는 1로 불연속이었기 때문이다. 따라서 신경망을 미분 가능한 수식으로 표현할 수가 없었다. 그래서 나온 것이 시그모이드 함수와 같이 미분 가능한 활성화함수이다.
</aside>
활성화 함수는 입력신호와 가중치를 받아 어떤 계산을 거친 후에 출력 노드를 활성화 시킬지 결정하는 함수이다. 위의 사진에서는 h(x)가 활성화 함수이다.
