예니의 코딩일기

  • 홈
  • 태그
  • 방명록

_Map 1

Map Reduce 프로그래밍

강의 Map Reduce 프로그래밍 디스크 기반 Key, Value 쌍의 집합 형태의 데이터셋 포맷 변경 불가 (immutable) map 혹은 reduce 오퍼레이션으로만 데이터 조작 가능 셔플링 : Map 결과 Reduce단에 적재 Map (k, v) → [(k', v')*] 형태 지정된 HDFS 파일로부터 시스템에 의해 입력 Reduce (k', [v1', v2', v3', ...]) → (k'', v'') Map의 출력 중 같은 키를 갖는 페어를 묶어서 시스템에 의해 입력 HDFS에 출력 저장 Shuffling Mapper의 출력을 Reducer로 전송하는 프로세스 전송하는 데이터의 크기가 크면 네트워크 병목 초래 및 시간 효율 감소 Sorting Mapper의 출력을 Reducer가 받아 키 별..

데브코스 TIL/빅데이터, 스트리밍 데이터 처리 2024.01.15
이전
1
다음
더보기
프로필사진

프로그래머스 데이터 엔지니어링 데브코스 2기 수강생 입니다

  • 전체보기 (153)
    • 데브코스 TIL (152)
      • [프로젝트] (3)
      • Python (1)
      • 자료구조, 알고리즘 (26)
      • HTML, CSS (2)
      • Web Scrapping (15)
      • Django, API (7)
      • SQL (6)
      • AWS 클라우드 (17)
      • 데이터 파이프라인, Airflow (17)
      • Docker (9)
      • DBT (4)
      • 빅데이터, 스트리밍 데이터 처리 (32)
      • Machine Learning (4)

Tag

_Kafka, 프로그래머스데브코스데이터엔지니어링, _Docker, _dbt, 프로그래머스데브코스, _Spark, _SparkSQL, _실습, _HTML, _설치, _DAG, _sql, _문제풀이, _소개, _AWS, _selenium, _redshift, 프로그래머스, _머신러닝, _Airflow,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/10   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바