# Activation functions

여러종류의 Activation function이 존재하고 각각의 미분법이 존재하며

아래 4개의 function에 대해서 알아보기로 한다.

1. Sigmoid

2. tanh

3. ReLU

4. Leaky ReLU



1. Sigmoid

1) definition: 

 

2) derivatives:

 



2. tanh

1) definition:

 

2) derivatives:


 


3. ReLU

 

1) definition:

 

2) derivatives:

 

 



4. Leaky ReLU

 

1) definition:

 

2) derivatives:

+ Recent posts