밀도추정 Density Estimation 확률변수 Probability Distributions

밀도추정 Density Estimation

𝑁N개의 관찰데이터 observations 𝐱1,…𝐱𝑁x1,…xN가 주어졌을 때 분포함수 𝑝(𝐱)p(x)를 찾는 것

- 𝑝(𝐱)p(x)를 파라미터화된 분포로 가정한다. 회귀, 분류문제에서는 주로 𝑝(𝑡|𝐱)p(t|x), 𝑝(|𝐱)p(C|x)를 추정한다

- 그 다음 분포의 파라미터를 찾는다.

• 빈도주의 방법 Frequentist's way : 어떤 기준 예를 들어 likelihood을 최적화시키는 과정을 통해 파라미터 값을 정한다. 파라미터의 하나의 값을 구하게 된다.
• 베이지언 방법 Bayesian way : 먼저 파라미터의 사전확률 prior distribution 을 가정하고 Bayes' rule을 통해 파라미터의 사후확률 posterior distribution 을 구한다

-파라미터를 찾았다면 그것을 사용해 예측 할 수 있다

 

켤레사전분포 Conjugate Prior

사후확률이 사전확률과 동일한 함수형태를 가지도록 해준다.