728x90 AI7 인공지능) 자연어 처리(NLP) - 텍스트 마이닝 응용 2021. 11. 22. 인공지능) 자연어 처리(NLP) - 텍스트 마이닝과 기계학습 텍스트 마이닝 - 데이터로부터 고품질의 정보를 추출하는 프로세스 특징 추출 고차원 데이터를 적절한 수준의 저차원 데이터로 변경 주요 변수를 추출 2021. 11. 22. 인공지능 ) 자연어 처리(NLP)와 전처리 자연언어처리 => 인공이 아닌 자연언어 데이터를 수집, 가공, 분석, 변환하는 소프트웨어 프로세싱 자연 언어 -한국어, 영어, 중국어 등 -체계가 있으나 엄격히 지키지 않아도 메시지 전달 가능 -음성,문자 형식 언어 -특정 분야에만 한정되어 사용되는 언어 -수학식, 화학식, 프로그래밍 언어 -엄격한 문법 자연어 처리 주요 task 형태소 - 의미를 갖는 가장 작은 단위 기능적/의미적으로 중의적 표현에 대한 해석을 관리하는 것이 어렵다.. 촘스키 주변 단어들과 함께 발생한 - 공기 컨텍스트 토큰 분리 및 품사 태깅 어간 추출 (스테밍) 표제어 복원 (레마타이징) 수집은 전처리에 포함시키진 않지만 전처리 전 데이터를 수집하기 위한 활동 2021. 11. 22. 인공지능) 자연어 처리(NLP) 개요 자연어 처리 자연어 처리에서 해결하고자 하는 문제 형태소 분석이 가장 기본적인 자연어 처리의 기술이지만 최근 점점 중요도는 떨어지는 추세 형태소 분석 없이 처리하는 모델들이 나오고 있음 한국어 특성상 가장 마지막 단어가 루트가 됨 신청합니다 - 무엇을 - 누가 구문 분석은 트리 형태로 NLP의 활용 1.IR (검색 엔진) 2.키워드 추출 -page rank 알고리즘 (구글 검색엔진의 핵심 알고리즘) -구글 창업자 로렌스 페이지의 이름을 따서 페이지 랭크 -구글 검색엔진의 성능이 좋아진 가장 큰 이유임 text rank - 페이지 랭크 알고리즘을 텍스트에 사용해 각각 점수 계산으로 문장 중요도 판별 A에 연결된 단어가 많을수록 A의 점수를 높게 줌 topic rank 앞 뒤 단어 관계를 고려한 text r.. 2021. 11. 22. 이전 1 2 다음 728x90
