NLP 언어모델 N-grams 조건부 확률 계산 MLE perplexity 평가

Bigram 확률 계산

 

MLE

분모 : 한 단어가 나타나는 빈도 수

분자 : 두 단어가 연속적으로 나타나는 빈도 수

 

 

언어 모델의 평가

 

외재적 평가 Extrinsic Evaluation

언어모델은 특정 과업을 위해 쓰여진다.

언어모델의 평가는 과업의 평가지표를 사용하여 판단한다.

 

두개의 언어모델 A, B가 있을 때

각각의 모델을 사용하여 얼마나 정확하게 과업을 달성하는지 계산한다.

여기서 나온 정확도가 높은 언어모델을 최종적으로 선택해 사용한다.

 

 

내재적 평가 Intrinsic Evaluation

외재적 평가는 과업을 달성하는 것을 확인해야 하기 때문에 시간이 오래 걸린다.

내재적 평가는 언어모델이 학습하는 확률 자체를 예측 및 평가할 수 있다.

- Perplexity

 

최적의 언어모델이 최종 과제에서는 성능이 예상치에 못 미칠 수도 있다.

그렇지만 내재적 평가는 언어모델의 학습 과정에 버그가 있는지 빠르게 확인하는 용도로 쓰일 수 있다.

 

 

Perplexity