# Activation functions

여러종류의 Activation function이 존재하고 각각의 미분법이 존재하며

아래 4개의 function에 대해서 알아보기로 한다.

1. Sigmoid

2. tanh

3. ReLU

4. Leaky ReLU



1. Sigmoid

1) definition: 

 

2) derivatives:

 



2. tanh

1) definition:

 

2) derivatives:


 


3. ReLU

 

1) definition:

 

2) derivatives:

 

 



4. Leaky ReLU

 

1) definition:

 

2) derivatives:

'Machine Learning' 카테고리의 다른 글

YOLO v3 demo webcam 돌려보기 for ubuntu(18.04)  (0) 2018.10.03
Activation functions  (0) 2017.11.30
Wrap-up "Machine learning" by Andrew Ng  (0) 2017.10.13
Binomial Logistic Regression/Classification  (0) 2017.07.10
Linear Regression  (0) 2017.07.07

+ Recent posts