728x90 반응형 크롤링1 Python - 웹 크롤링이란? (feat.BeautifulSoup) 정적 웹페이지 크롤링 - BeutifulSoup 웹 크롤링이란? → 웹에있는 정보들을 프로그램으로 자동화하여 가져오는 것 → 스크래핑, 스파이더링이라고도 부르지만 요새는 크롤링이라고 한다 정적 웹페이지란? → 말 그대로 움직이지 않는 웹페이지 (클릭 등의 이슈가 없는) → 여러 페이지를 크롤링할 시 페이지별 규칙적인 주소(url)가 있어야한다 크롤링 순서 1.원하는 웹 페이지의 주소 및 html구조 파악 ( 웹페이지에서 개발자도구 - F12 를 눌러 구조 파악) 2.requests 로 웹페이지의 html 정보 수집 3.BeautifulSoup 으로 html구조 분석 requests → 파이썬에서 http요청을 보낼 수 있는 모듈(라이브러리) → GET : 정보 조회 → POST : 정보 생성, 변경 im.. 2021. 1. 15. 이전 1 다음 728x90 반응형