Linear Regression

Linear Regression

1. Linear한 관계(1차 방정식=직선)일 것이라고 가정하고 기계적으로 귀납적 추론을 하게 하는 방법

- X -> Y로 변화하는 관계에 대해서

 

 라는 가설을 세워 접근하는 것이다.

 물론 1차방정식을 알고 있다면 W는 기울기이고 b는 이 그래프의 수직이동 관계이다.

- X가 여러개라도

 라는 관계가 성립한다고 보는것

2. 기계적으로 귀납적 추론을 하게 하는 방법

- X, Y 자료가 있고 가설의 그래프(1차 방정식 그래프 = 직선)를 그렸을때 가설과 실제값의 차이를 보인다면

  그 차이를 최소화 할 수 있는 그래프를 찾도록 하는 것이다.

- 여기서 최소값을 찾는다는 것은 그래프의 기울기 W와 그래프의 수직이동 b 의 값을 적절히 하게 하여

  가설이 실제값에 가장 유사한 조건이 되도록 하는 것이다.

3. 최적의 조건을 찾게 하는 방법

- 가설과 실제값의 차의 제곱의 평균을 한 것을 cost 함수라고 정의하고 이 값을 최저로 만든다.

  

- 이 cost 공식을 쓸때 cost의 추이는 다음과 아래와 유사한 2차 방정식 곡선을 그리며

  0에 가장 가까운 지점을 찾아가게 되는데

  이 때 경사도를 구하여 0에 가까운 지점을 찾아가는 방법을 Gradient Descent Algorithm이라고 한다.

Reference:

- http://hunkim.github.io/ml/

- https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%ED%9A%8C%EA%B7%80