선형분류 Linear Models for Classification 확률적 생성 모델

확률적 생성 모델 Probabilistic Generative Models

- 연속적 입력값

- 이산적 입력값

두 가지로 나눠서 풀 수 있다.

 

분류문제를 확률적 관점에서 살펴본다.

선형회귀와 마찬가지로 확률적 모델은 통합적인 관점을 제공한다.

데이터의 분포에 관해 어떤 가정을 두면 선형적인 결정경계가 그 결과로 유도된다.

 

사전확률과 확률을 모델링하고 베이즈 정리를 통해 사후확률을 구한다.

확률적 모델은 데이터의 분포를 모델링하면서 분류문제를 결과적으로 풀게 된다.

 

이와 같은 함수를 a에 대한 로지스틱 시그모이드 함수라고 부른다.

이 값은 0에서 1사이의 범위로 정의 된다.

 

로지스틱 시그모이드 Losigtic Sigmoid

 

대칭적이고, 로그함수를 통해 역함수를 구할 수 있다.

연속적 입력 Continous Inputs

 

사전확률이 가우시안 분포를 따르고 모든 클래스에 대해 공분산을 공유하여 동일하다고 가정한다.

 

 

시그모이드 함수 공분산을 같은 값으로 두었기 때문에 여러개의 클래스도 선형으로 분류가 가능하다.

 

 

최대우도해 Maximum Likelihood Solution

 

최대우도해를 통해 모델 파라미터를 구한다.

두개의 클래스인 경우

 

데이터

파라미터

 

 

입력이 이산값인 경우

 

각 특성 xi가 0과 1중 하나의 값만을 가질 수 있는 경우

클래스가 주어졌을 때 특성들이 조건부 독립 Conditional Independence 하는 가정을 할 경우 

이것을 Naive Bayes 가정이라고 한다.