[LDA 이해하기] 1. 확률적 토픽 모델링의 기초

* 본 글은 David M. Blei - "Probabilistic Topic Models" 논문을 기반으로 작성되었습니다.

 

 

🔎 디지털 시대, 정보 탐색은 어떻게 달라져야 할까?

 

인터넷과 디지털 기술의 발전으로 우리의 지식이 디지털화되어 저장됨에 따라, 우리는 방대한 양의 정보를 다룰 수 있게 되었습니다.

 

하지만 정보가 많아질수록, 우리가 원하는 정보를 효과적으로 찾는 일은 더욱 어려워지고 있습니다.

 

현재 우리는 키워드 검색과 하이퍼링크(링크 기반 탐색)라는 두 가지 주요 툴을 사용하여 이 문제를 해결하고자 했지만, 이러한 방식에는 한계가 존재합니다.

 

✔️ 키워드 검색 : 특정 단어가 포함된 문서를 찾을 수 있지만, 문서의 의미나 주제까지 이해하지는 못합니다.

✔️ 하이퍼링크 탐색 : 문서 간의 관계를 따라가며 정보를 찾을 수 있지만, 방대한 정보 속에서 원하는 문서를 효율적으로 찾기는 어렵습니다.

 

이러한 문제를 해결하기 위한 대안으로, "주제 기반 검색"이 제안되었습니다.

 

🔎 주제 기반 검색이란?

 

주제 기반 검색은 단순히 키워드가 포함된 문서를 찾는 것이 아니라, 문서 속에 숨어 있는 주제를 바탕으로 정보를 탐색하는 방식입니다.

 

이를 통해 우리는

 

1️⃣ 문서를 주제별로 그룹화 할 수 있습니다.

2️⃣ 세부 주제를 탐색할 수 있습니다.

3️⃣ 시간에 따른 변화 분석이 가능합니다.

4️⃣ 원본 문서까지의 접근을 쉽게 할 수 있습니다.

 

논문에서는 뉴욕 타임스의 기사를 분석하여, 시간에 따른 주제 변화를 추적하는 사례를 보여주고 있습니다.

 

하지만 현실적으로 수많은 문서를 사람이 직접 주제별로 분류하는 것은 현실적으로 불가능하다는 문제가 있습니다. 

 

🔎 확률적 토픽 모델링이란?

 

위와 같은 문제를 해결하기 위해 머신러닝 연구자들은 "확률적 토픽 모델링(Probabilistic Topic Modeling)" 기법을 개발하였습니다.

 

토픽 모델링(Topic Modeling)이란, 원본 텍스트의 단어들을 분석하여 숨겨진 주제를 자동으로 발견하는 통계적 기법입니다.

 

✔️ 사전 라벨링 없이 문서에서 주제를 발견할 수 있습니다(비지도 학습)

✔️ 대규모 문서 데이터를 요약하고 조직화할 수 있습니다. 
 

대표적인 방법으로 LDA(Latent Dirichlet Allocation)가 있으며, 이후 글에서 자세히 다룰 예정입니다.

 

이번 글에서는 정보 탐색의 한계와 이를 해결하기 위한 주제 기반 검색의 필요성, 그리고 확률적 토픽 모델링의 개념을 간단히 소개하였습니다.

 

다음 글에서는 LDA(Latent Dirichlet Allocation)의 원리에 대해 자세히 설명할 예정입니다.