"시즌 1 - 딥러닝의 기본" Wrap-up

"시즌 1 - 딥러닝의 기본" Wrap-up

학습을 마치며 전반적 수업내용에 대한 정리를 해본다.

이 강의을 들으면서 더 깊이있는 지식이 필요하여 Coursera의 "Machine Learning" - Andrew Ng 강의을 들었고 더 잘 이해할 수 있었다.

하지만 딥러닝부분에서는 배경지식이 없어서 CNN, RNN등 에 대한 깊이있는 공부를 위해서 다른 강의를 수강해야 할 것 같다.

몇가지 인상깊은 특징을 나열해보자면

- 이 강의는 15분 내외의 짧은 동영상 강의로 되어있고

- 머신러닝이나 딥러닝의  개념설명과 TensorFlow로 구현하는 방법을 알려준다.

- 하지만 머신러닝이 빠진 타이틀에서 유추할 수 있듯이 딥러닝에 초점이 되어있다.

- TensorFlow가 많은 기능들을 지원하다보니 이론적인 이해가 덜 되어도 실습에는 무리가 없다.

- 이론적인 부분에 있어서는 생략되는 부분이 있다보니 후반부로 갈 수록 왜 그렇게 생각하고 나아가는지에 대한 공감이 어려웠다.

# Wrap-up

1. Machine learning

    a. Supervised

    b. Unsupervised

2. Linear regression

    a. hypothesis

    b. cost function

    c. Minimize cost

        - Gradient descent Algorithm

        - Convex function이 되어야 한다.

    d. Multivariable

3. Logistic regression/classification

    a. Sigmoid

    b. cost function

    c. Minimize cost

    d. Multinomial classification

    e. Softmax

    f. One-hot encoding

    g. Cross-Entropy

4. 머신러닝 관련 용어정리와 tip

    a. learning late

        - 너무 크면 Overshooting 경향

        - 너무 작으면 local minimum 경향

    b. Standardization

    c. Overfitting

    d. Regularization

    e. training / validation / test set

    f. MNIST dataset

5. Neural Networks

    a. Neural net and Activation function

    b. XOR problem

    c. forward propagation

    d. back propagation

        - 초기화를 잘 해야된다.(ex - RBM: Restricted Boatman Machine)

        - vanishing gradient problem: ReLU로 해결

    e. ReLU(Rectified Linear Unit)

        - 다른함수:  Sigmoid, Leaky ReLU, tanh, Maxout, ELU

    f. dropout

    e. ensemble

6. CNN(Convolutional Neural Networks)

    c. Convolution Layer

        - filter

        - stride

    d. Pooling Layer

        - Max pooling

7. RNN(Recurrent Neural Networks)

    a. sequence data

    b. hidden size

    c. batch size

Reference:

- http://hunkim.github.io/ml/