MLE 1
카테고리 설명
-
Bigram 확률 계산 MLE 분모 : 한 단어가 나타나는 빈도 수 분자 : 두 단어가 연속적으로 나타나는 빈도 수 언어 모델의 평가 외재적 평가 Extrinsic Evaluation 언어모델은 특정 과업을 위해 쓰여진다. 언어모델의 평가는 과업의 평가지표를 사용하여 판단한다. 두개의 언어모델 A, B가 있을 때 각각의 모델을 사용하여 얼마나 정확하게 과업을 달성하는지 계산한다. 여기서 나온 정확도가 높은 언어모델을 최종적으로 선택해 사용한다. 내재적 평가 Intrinsic Evaluation 외재적 평가는 과업을 달성하는 것을 확인해야 하기 때문에 시간이 오래 걸린다. 내재적 평가는 언어모델이 학습하는 확률 자체를 예측 및 평가할 수 있다. - Perplexity 최적의 언어모델이 최종 과제에서는 성능..
