인공지능 ) 자연어 처리(NLP)와 전처리

자연언어처리

=> 인공이 아닌 자연언어 데이터를 수집, 가공, 분석, 변환하는 소프트웨어 프로세싱

 

자연 언어

-한국어, 영어, 중국어 등

-체계가 있으나 엄격히 지키지 않아도 메시지 전달 가능

-음성,문자

 

형식 언어

-특정 분야에만 한정되어 사용되는 언어

-수학식, 화학식, 프로그래밍 언어

-엄격한 문법

 

자연어 처리 주요 task

 

형태소 - 의미를 갖는 가장 작은 단위

기능적/의미적으로

 

 

중의적 표현에 대한 해석을 관리하는 것이 어렵다..

 

촘스키

 

주변 단어들과 함께 발생한 - 공기

컨텍스트

 

토큰 분리 및 품사 태깅

어간 추출 (스테밍)

표제어 복원 (레마타이징)

 

 

 

 

 

 

 

 

 

수집은 전처리에 포함시키진 않지만 전처리 전 데이터를 수집하기 위한 활동