예니의 코딩일기

  • 홈
  • 태그
  • 방명록

_Bucketing 1

Spark 내부동작

강의 내부 연산 Transformations Narrow Dependencies 독립적인 Partition level 작업 병렬처리 가능 select, where, filter, map, count Wide Depedencies Shuffling이 필요한 작업 groupby, reduceby, partitionby, repartition, coalece Actions Read, Write, Show, Collect Job 실행 Lazy Execution 내부 동작 Action → Job → Stages → Tasks Action : 하나의 Job 생성 및 코드 실행 Jobs : 다수의 Stage로 구성 후 Shuffling 발생시 추가 생성 Stages : DAG 형태의 Task 병렬 실행 가능 Task..

데브코스 TIL/빅데이터, 스트리밍 데이터 처리 2024.01.18
이전
1
다음
더보기
프로필사진

프로그래머스 데이터 엔지니어링 데브코스 2기 수강생 입니다

  • 전체보기 (153)
    • 데브코스 TIL (152)
      • [프로젝트] (3)
      • Python (1)
      • 자료구조, 알고리즘 (26)
      • HTML, CSS (2)
      • Web Scrapping (15)
      • Django, API (7)
      • SQL (6)
      • AWS 클라우드 (17)
      • 데이터 파이프라인, Airflow (17)
      • Docker (9)
      • DBT (4)
      • 빅데이터, 스트리밍 데이터 처리 (32)
      • Machine Learning (4)

Tag

_소개, _문제풀이, _SparkSQL, _AWS, 프로그래머스데브코스, _redshift, _머신러닝, _dbt, _실습, _Airflow, _selenium, _sql, _Spark, _설치, _HTML, _DAG, 프로그래머스데브코스데이터엔지니어링, _Docker, _Kafka, 프로그래머스,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바