데브코스 TIL/Web Scrapping 15

Web Scraping 기초 4 시각화로 결과 요약하기 -Seaborn/Wordcloud -

강의 "시각화"는 정보를 요약해서 한눈에 보여주는 것입니다. "Seaborn" 라이브러리는 matplotlib을 기반으로 하는 라이브러리 입니다. 다양한 그래프를 고수준(high-level)에서 쉽게 그릴 수 있습니다. %pip install seaborn # 시각화에 필요한 라이브러리를 불러와봅시다. import seaborn as sns # Scatterplot을 직접 그려봅시다 # 값 x=[1, 3, 2, 4] # 값 y=[0.7,0.2,0.1,0.05] sns.lineplot(x=[1, 3, 2, 4], y=[4, 3, 2, 1]) # Barplot을 직접 그려봅시다 # 범주 x=[1,2,3,4] # 값 y=[0.7,0.2,0.1,0.05] sns.barplot(x=[1,2,3,4],y=[0.7,..

Web Scraing 기초 3-8. 키보드 이벤트 처리하기

강의 "Keyboard Event"는 키보드로 일어날 수 있는 event를 말합니다. 키보드 누르기(press down) 키보드 떼기(press up) # 스크래핑에 필요한 라이브러리를 불러와봅시다. from selenium import webdriver from selenium.webdriver import ActionChains from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.common.actions.action_builder import ActionBuilder from selenium.webdriver import Keys, ActionChains from selenium.webdriver.chrom..

Web Scraping 기초 3-4. 마우스 이벤트 처리하기

강의 "Event"는 웹 페이지에서 일어나는 일들을 말합니다. "Mouse Event"는 마우스로 일어날 수 있는 event를 말합니다. 마우스 움직이기(move) 마우스 누르기(press down) 마우스 떼기(press up) # 스크래핑에 필요한 라이브러리를 불러와봅시다. from selenium import webdriver from selenium.webdriver import ActionChains from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from webdriver_manager.chrome import ChromeDriverManager # 주어진 웹사이트를 ..

Web Scraping 기초 3-3. Wait and Call

강의 "XPath"는 XML, HTML 문서 등의 요소의 위치를 경로로 표현하는 것입니다. %pip install selenium %pip install webdriver-manager # 스크래핑에 필요한 라이브러리를 불러와봅시다. from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from webdriver_manager.chrome import ChromeDriverManager # 예시 사이트에 요청을 진행하고, 예시 사이트의 첫 번째 이벤트의 제목을 가져와봅시다. driver = webdriver.Chrome(servi..

Web Scraping 기초 3-2. 브라우저 자동화하기, Selenium

강의 "Selenium"은 웹 브라우저를 조작할 수 있는 자동화 프레임워크 입니다. "Web Driver"는 웹 브라우저를 제어할 수 있는 자동화 프레임워크 입니다. %pip install selenium %pip install webdriver-manager # selenium으로부터 webdriver 모듈을 불러옵니다. from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager # Chrome 브라우저를 켜봅시다. driver = webdriver.Chrome(service=Service(ChromeDrive..

Web Scraping 기초 3-1. 동적 웹 페이지와의 만남

강의 웹 페이지 구분 정적(Static) 웹 사이트 HTML 내용 고정 HTML 문서 완전하게 응답 동적(Dynamic) 웹 사이트 HTML 내용 변화 응답 후 HTML 렌더링 지연시간 존재 데이터 처리 구분 동기 처리 요청에 따른 응답 기다림 렌더링 후, 데이터 처리 → 로딩 문제 없음 비동기 처리 요청에 따른 응답을 기다리지 않음 렌더링 후, 우선 응답 후 데이터 처리 → 데이터 완전하지 않은 경우 발생 requests 활용 시 문제점 동적 웹사이트 적용 어려움 → 임의로 시간 지연 후, 데이터 처리가 끝난 정보를 가져옴 UI 상호작용 어려움 → Selenium을 활용하여 웹 브라우저의 event 프로그래밍 from selenium import webdriver driver = wevdriver.Ch..