_HTML 8

크롤한 웹데이터로 만들어보는 웹사이트

1일차 처음해보는 프론트엔드 파트여서 일단 구조부터 만들어보고 있습니다! 주택 매매 가격 동향 지역 선택 {% if regions %} {% for region in regions %} {{region.dong_name}} {% endfor %} {% else %} no regions {% endif %} A시 A시 A시 A시 등락 지도 :root { --blue: #4e73df; --indigo: #6610f2; --purple: #6f42c1; --pink: #e83e8c; --red: #e74a3b; --orange: #fd7e14; --yellow: #f6c23e; --green: #1cc88a; --teal: #20c9a6; --cyan: #36b9cc; --white: #fff; --gray:..

Web Scraping 기초 2-5. 원하는 요소 가져오기 ||

강의 "페이지네이션"(Pagination)은 많은 정보를 인덱스로 구분하는 기법 입니다. # 다음 User-Agent를 추가해봅시다. user_agent = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"} # 필요한 라이브러리를 불러온 후, 요청을 진행해봅시다. import requests from bs4 import BeautifulSoup # Pagination이 되어있는 질문 리스트의 제목을 모두 가져와봅시다. # 과도한 요청을 방지하기 위해 1초마다 요청을 보내봅시다. import time for i..

Web Scraping 기초 2-4. HTML의 Locator로 원하는 요소 찾기

강의 같은 태그를 사용하는 경우 원하는 요소만을 찾기 위해 "Locator"를 이용합니다. id : 하나의 고유 태그를 가리키는 라벨. 중복 불가 class : 여러 태그를 묶는 라벨 # 스크래핑에 필요한 라이브러리를 불러와봅시다. import requests from bs4 import BeautifulSoup ## 또 다른 연습 사이트를 이용해봅시다. # http://example.python-scraping.com/ res = requests.get("http://example.python-scraping.com/") soup = BeautifulSoup(res.text, "html.parser") ## id 없이 div 태그를 찾아봅시다. soup.find_all("div") ## id가 resu..

Web Scraping 기초 2-2. HTML을 분석해주는 BeautifulSoup

강의 "BeautifulSoup" 라이브러리는 Parser를 사용할 수 있도록 도와주는 라이브러리 입니다. %pip install bs4 # www.example.com 사이트를 요청한 후 응답 받아보기 import requests res = requests.get("http://www.example.com") res.text # BeautifulSoup4 - bs4를 불러와봅시다. from bs4 import BeautifulSoup # BeautifulSoup객체를 만들어봅시다. # 첫번째 인자로는 response의 body를 텍스트로 전달합니다. # 두번째 인자로는 "html"로 분석한다는 것을 명시해줍니다. soup = BeautifulSoup(res.text, "html.parser") # 객체..

Web Scraping 기초 2-1. 웹 브라우저가 HTML을 다루는 방법

강의 브라우저의 렌더링 엔진은 웹 문서를 로드한 후, 파싱을 진행합니다. "DOM"(Document Object Model)은 파싱하여 만든 아래와 같은 형태를 말합니다. DOM은 실제로 매우 복잡하게 구성되어 있습니다. 각 노드를 객체로 생각하면 문서를 더욱 편리하게 관리할 수 있습니다. 원하는 요소를 동적으로 변경하고 쉽게 찾을 수 있습니다. DOM Tree를 순회하여 특정 원소를 조작할 수 있습니다. var imgElement = document.createrElement("img"); document.body.appendChild(imgElement); document.getElementByTagName("h2");

Web Scraping 기초 1-2. 웹 페이지와 HTML

강의 "웹 페이지"는 웹 속에 있는 문서 하나를 말합니다. "웹 사이트"는 웹 페이지의 모음 입니다. "웹 브라우저"는 HTML 요청을 보내고, HTTP 응답에 담긴 HTML 문서를 보기 쉬운 형태로 화면을 그려주는 역할(렌더)을 담당합니다. HTML의 구조 HTML은 태그(Tag)로 감싼 요소(Element)의 집합으로 이루어져 있습니다. 태그로 내용을 묶어 글의 형식을 지정합니다. 태그는 그에 맞는 속성(Attribute)을 가지기도 합니다. # 문서의 내용 Hello World! My name is Mussg!