ML1 [데이터 청년 캠퍼스] 경남대학교 빅리더 AI 아카데미 - Day 11 오전 - 자연어처리(NLP) 용어 DTM: 문서 행렬 (Documnet Term Matrirx) tf: 현재 문서에 출현한 단어의 빈도(횟수) (Term Frequency) idf : 역문서 빈도, 전제 문서의 수를 해당 단어가 나오는 문서수로 나눈 것(Inverse Document Frequency) td-idf : 단어빈도 * 역문서 빈도 문서행렬은 문서에 나타나는 어휘를 모아 one-hot 인코딩으로 표현한 벡터다. 모든 어휘들이 columns가 되는데 columns에서 저빈도 어휘들은 빼고 고빈도 어휘들로 채운다. 고빈도 어휘들 중에서도 불용어(을/를, 은/는 ....)는 제외한다. 이때 빈도는 tf나 tf-idf가 될 수 있다. tf가 단순히 출현 횟수만을 카운트한다. if-idf는 특정 문서들.. 2020. 7. 17. 이전 1 다음