계량 베이즈

20200414 0845

 

01 계량

x'x inv x' y = beta hat

$$(x'x)^{-1} x'y = \hat{\beta}$$

 

(옆길로 빠져서)

계량에서 가장 핵심인 회귀분석의 영어는 Regression Analysis이다. Regression이라는 단어가 왜 붙었는지 궁금했는데 나름 내린 결론은 다음과 같다.

현실에 나타난 결과물(데이터)를 이용해서 그 결과물이 어디서 나왔는지(origin)을 찾는 것이 회귀분석이다. 즉 output의 origin을 찾아가는 과정인데, 이것이 원래 태어났던 곳으로의 "회귀"에 해당한다. 그래서 결과로부터 원인을 추정하는 이 방법을 회귀분석이라고 한다.

★ 요컨대 "결론 → 원인" ∴ 되돌아가기 = 회귀^[각주:1]

 

 

02 베이즈 공식

x given y = x / y  * y given x

$$Pr(X|Y) = {Pr(X) \over Pr(Y)} Pr(Y| X)$$

 

03 Machine Learning, AI

1/ ML = {SVM, Decision Tree, Clustering, Neural Net(=AI) }

2/ 계량과 ML의 유사점 : $y=f(x)$에서 둘다 $x,y$를 가지고서 $f$를 찾는다.

3/ 계량과 ML의 차이점: 전자는 $f$의 꼴(form)은 주어져 있고 계수만을 찾는데 비해, 후자는 $f$에 대한 아무런 사전 정보를 주지 않는다.

 

어찌보면 ML도 $f$에 대해 전혀 정보가 없는 것도 아니다. Decision Tree라면 함수가 의사결정나무 꼴이라고 가정하고 있는 것이고, AI라면 함수가 layer 상의 node의 선형결합이라고 가정하고 있는 것으로 볼 수 있다. 하지만 이 "함수"들은 유연성이 커서 문제에 따라 함수를 바꿀 필요가 없다. 즉 모든 함수를 포함하는 함수 개념이다.

1. 그런데 세상의 모든 문제가 이런 것 아닌가? 결과를 보고 원인을 찾아내는 것.. [본문으로]