[Python] Text Analytics 개념

텍스트 분석(Text Analytics, TA)

NLP 와 텍스트 분석(TA)

• NLP : 머신이 인간의 언어를 이해하고 해석하는 데 중점
• TA : 텍스트 마이닝(Text Mining)이라고 불리우며 비정형 텍스트에서 의미있는 정보를 추출 하는데 중점
• 머신러닝 기술에 힘입어 크게 발전

NLP

• 언어를 해석하기 위한 기계 번역
• 자동으로 질문을 해석하고 답을 해주는 질의응답 시스템
• NLP는 텍스트 분석을 향상하게 하는 기반 기술

텍스트 분류(Text Classification) - 지도 학습

• Text Categroization 이라고도 함
• 문서가 특정 분류 또는 카테고리에 속하는 것을 예측 하는 기법 통칭
• 예) 특정 기사가 정치/사회/문화/기타 어떤 카테고리에 속하는지 자동 분류
• 예) 스팸 메일 여부 자동 분류

감성 분석(Sentiment Anlysis) - 지도/비지도 학습

• 텍스트에 나타나는 감정/판단/믿음/의견/기분 등의 주관적인 요소를 분석하는 기법의 총칭
• 소셜미디어 감정 분석, 영화나 제품에 대한 긍정 또는 리뷰, 여론조사 의견 분석 등의 다양한 영역에서 활용
• TA 분야에서 가장 활발하게 사용되고 있음

텍스트 요약(Summarization)

• 텍스트 내에서 중요한 주제나 중심 사상을 추출하는 기법
• 대표적으로 '토픽 모델링(Topic Modeling)'이 있음

텍스트 군집화(Clustering) - 비지도 학습

• 비슷한 유형의 문서에 대해 군집화 수행하는 기법
• 유사도 측정 역시 문서들간의 유사도를 측정해 비슷한 문서들끼리 모을 수 있는 방법

텍스트 분석의 이해

• 텍스트 분석은 비정형 데이터인 텍스트를 분석 하는 것
• 비정형 텍스트 데이터를 어떻게 피처 형태로 추출하고 의미있는 값 부여가 핵심
• 텍스트를 word 기반의 다수 피처를 추출, 빈도수 부여 => 피처 벡터화(피처 추출)
• 피처 벡터화 방식 : BOW(Bag of Words), Word2Vec
• 텍스트를 벡터값을 가지는 피처로 변환하는 것이 머신러닝 모델 적용의 중요 요소

텍스트 분석 수행 프로세스

• 텍스트 사전 준비 작업(텍스트 전처리)
• 피처 벡터화 / 추출
• ML 모델 수립 및 학습/예측/평가

[ 파이썬 기반 NLP, 텍스트 분석 패키지 ]

NLTK(Natural Language Toolkit for Python)

• 파이썬의 가장 대표적인 NLP 패키지
• 방대한 데이터 세트와 서브 모듈
• NLP의 거의 모든 영역 커버

Gensim

• 토픽 모델링 분야 패키지
• Word2Vec 구현등 다양한 신기능 제공
• SpaCy 와 함께 가장 많이 사용되는 NLP 패키지

SpaCy

• 뛰어난 수행 성능으로 최근 가장 주목을 받는 NLP 패키지

텍스트 사전 준비 작업(텍스트 전처리) - 텍스트 정규화

텍스트 정규화

• 텍스트를 머신러닝 알고리즘이나 NLP 애플리케이션에 입력 데이터로 사용하기 위해 클렌징, 정제, 토큰화, 어근화 등의 사적전 작업을 수행하는 것

클렌징

• 텍스트 분석에 방해가 되는 불필요한 문제, 기호등 사전에 제거
• HTML, XML 등에서 태그나 특정 기호 제거

텍스트 토큰화

• 문장을 문서에서 분리하는 문장 토큰화
• 문장에서 단어를 분리하는 단어 토큰화

문장 토큰화

• punkt : 마침표, 개행 문자등의 데이터 세트