예니의 코딩일기

  • 홈
  • 태그
  • 방명록

_비동기처리 1

Web Scraping 기초 3-1. 동적 웹 페이지와의 만남

강의 웹 페이지 구분 정적(Static) 웹 사이트 HTML 내용 고정 HTML 문서 완전하게 응답 동적(Dynamic) 웹 사이트 HTML 내용 변화 응답 후 HTML 렌더링 지연시간 존재 데이터 처리 구분 동기 처리 요청에 따른 응답 기다림 렌더링 후, 데이터 처리 → 로딩 문제 없음 비동기 처리 요청에 따른 응답을 기다리지 않음 렌더링 후, 우선 응답 후 데이터 처리 → 데이터 완전하지 않은 경우 발생 requests 활용 시 문제점 동적 웹사이트 적용 어려움 → 임의로 시간 지연 후, 데이터 처리가 끝난 정보를 가져옴 UI 상호작용 어려움 → Selenium을 활용하여 웹 브라우저의 event 프로그래밍 from selenium import webdriver driver = wevdriver.Ch..

데브코스 TIL/Web Scrapping 2023.10.25
이전
1
다음
프로필사진

프로그래머스 데이터 엔지니어링 데브코스 2기 수강생 입니다

  • 전체보기 (153)
    • 데브코스 TIL (152)
      • [프로젝트] (3)
      • Python (1)
      • 자료구조, 알고리즘 (26)
      • HTML, CSS (2)
      • Web Scrapping (15)
      • Django, API (7)
      • SQL (6)
      • AWS 클라우드 (17)
      • 데이터 파이프라인, Airflow (17)
      • Docker (9)
      • DBT (4)
      • 빅데이터, 스트리밍 데이터 처리 (32)
      • Machine Learning (4)

Tag

프로그래머스, _실습, _Docker, _selenium, _문제풀이, _dbt, 프로그래머스데브코스, _Spark, _머신러닝, _설치, _Kafka, _redshift, _HTML, _AWS, _Airflow, 프로그래머스데브코스데이터엔지니어링, _소개, _sql, _SparkSQL, _DAG,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

  2025. 07  
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바

단축키

내 블로그

내 블로그 - 관리자 홈 전환
Q
Q
새 글 쓰기
W
W

블로그 게시글

글 수정 (권한 있는 경우)
E
E
댓글 영역으로 이동
C
C

모든 영역

이 페이지의 URL 복사
S
S
맨 위로 이동
T
T
티스토리 홈 이동
H
H
단축키 안내
Shift + /
⇧ + /

* 단축키는 한글/영문 대소문자로 이용 가능하며, 티스토리 기본 도메인에서만 동작합니다.