[활성화 함수] 활성화함수는 왜 필요할까?

그림1. 신경망 기본 개념

활성화 함수는 신경망에서 입력값과 가중치의 곱의 결과를 변형시켜주는 역할을 합니다.

 

대표적인 활성화 함수로는 다음과 같습니다.

그림2. 활성화함수

이런 역할을 하는 활성화함수는 왜 필요한걸까요?

 

활성화함수는 딥러닝의 비선형성을 보장해주는 역할을 합니다.

활성화함수 없이, 단순히 입력값과 가중치의 곱이 그대로 다음 노드에 연결된다면

딥러닝은 복잡한 선형함수에 그치지 않을 것입니다.

 

딥러닝이 강력한 이유 중 하나는 비선형적 패턴을 포착할 수 있기 때문이고,

따라서 이를 보장해주는 활성화함수는 굉장히 중요한 역할을 한다고 할 수 있습니다.

 

 

 

 

---

reference

밑바닥부터 시작하는 딥러닝

 

 

출처

그림1 : https://www.v7labs.com/blog/neural-networks-activation-functions

그림 2: https://www.linkedin.com/pulse/activation-functions-neural-networks-leonardo-calderon-j-