728x90 반응형 언어모델1 [소셜네트워크] 언어 모델과 평가에 대해서 1. 언어 모델 (Language Model) 개요언어 모델은 단어 시퀀스(문장)에 확률을 할당하는 모델로, 주어진 문맥에서 가장 자연스러운 단어의 조합을 찾는 데 사용됩니다.예를 들어, 기계 번역, 오타 수정, 음성 인식 등에서 다음에 올 단어를 예측하는 데 사용됩니다.조건부 확률을 사용하여 단어가 등장할 확률을 계산합니다. 예를 들어, 문장 "나는 버스를 탔다"와 "나는 버스를 태운다"에서 확률이 더 높은 쪽을 선택합니다.2. 통계적 언어 모델 (SLM)통계적 언어 모델은 조건부 확률 (Conditional Probability)과 연쇄 규칙 (Chain Rule)을 사용하여 문장의 확률을 계산합니다.예를 들어, 문장 "A little boy is smiling"의 확률은 각 단어가 이전 단어들에 따.. 2024. 11. 11. 이전 1 다음 728x90 반응형
