728x90

자연어 처리

자연어 처리에서 해결하고자 하는 문제

형태소 분석이 가장 기본적인 자연어 처리의 기술이지만

최근 점점 중요도는 떨어지는 추세

형태소 분석 없이 처리하는 모델들이 나오고 있음

한국어 특성상 가장 마지막 단어가 루트가 됨

신청합니다 - 무엇을 - 누가

구문 분석은 트리 형태로

NLP의 활용

1.IR (검색 엔진)

2.키워드 추출
-page rank 알고리즘 (구글 검색엔진의 핵심 알고리즘)
-구글 창업자 로렌스 페이지의 이름을 따서 페이지 랭크
-구글 검색엔진의 성능이 좋아진 가장 큰 이유임

text rank - 페이지 랭크 알고리즘을 텍스트에 사용해
각각 점수 계산으로 문장 중요도 판별
A에 연결된 단어가 많을수록 A의 점수를 높게 줌

topic rank
앞 뒤 단어 관계를 고려한 text rank를 생성

현대 자동차
문서 중앙화 (유사 문서끼리 모아서 원하는 문서를 쉽게 검색)

LG전자, 특허청
유사 문서 검색 시스템

고객 VOC 분석
문장 분석을 통해 서비스 이슈를 실시간 분석

문장 분석을 통한 트렌드 키워드 분석

알고리즘에만 집착하지 말고
무엇을 어떻게 해결할 것인가에 대해 더 집중하자