Web Scraping 기초 3-1. 동적 웹 페이지와의 만남

강의

웹 페이지 구분

• 정적(Static) 웹 사이트
  • HTML 내용 고정
  • HTML 문서 완전하게 응답
• 동적(Dynamic) 웹 사이트
  • HTML 내용 변화
  • 응답 후 HTML 렌더링 지연시간 존재

 

데이터 처리 구분

• 동기 처리
  • 요청에 따른 응답 기다림
  • 렌더링 후, 데이터 처리 → 로딩 문제 없음
• 비동기 처리
  • 요청에 따른 응답을 기다리지 않음
  • 렌더링 후, 우선 응답 후 데이터 처리 → 데이터 완전하지 않은 경우 발생

 

requests 활용 시 문제점

• 동적 웹사이트 적용 어려움 → 임의로 시간 지연 후, 데이터 처리가 끝난 정보를 가져옴
• UI 상호작용 어려움 → Selenium을 활용하여 웹 브라우저의 event 프로그래밍

from selenium import webdriver

driver = wevdriver.Chrome()
driver.implicitly_want(10)
driver.get("경로")

elem = driver.find_element_by_tag_name("hello-input")
elem.send_keys("Hello!")