예니의 코딩일기

  • 홈
  • 태그
  • 방명록

_ETL 2

ETL 작성 실습

강의 ETL 개요 1. schema 밑에 테이블 생성 # Colab 환경 !pip install ipython-sql==0.4.1 !pip install SQLAlchemy==1.4.49 %load_ext sql postgresql://ID:PW@learnde.cduaw970ssvt.ap-northeast-2.redshift.amazonaws.com:5439/dev DROP TABLE IF EXISTS keeyong.name_gender; CREATE TABLE yen.name_gender ( name varchar(32) primary key, gender varchar(8) ); import psycopg2 # Redshift connection 함수 # 본인 ID/PW 사용! def get_Reds..

데브코스 TIL/데이터 파이프라인, Airflow 2023.12.11

데이터 웨어하우스 옵션

강의 데이터 조직 데이터 조직의 비전은 신뢰할 수 있는 데이터를 바탕으로 부가 가치를 생성하는 것입니다. 데이터 조직의 역할 결정 과학(Decision Science) 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공 데이터 고려 결정(Data Informed Decisions) vs 데이터 기반 결정(Data Driven Decisions) 데이터 기반 지표 정의 혹은 대시보드와 리포트 생성 데이터 분석가(Data Analysist) Product Science 고품질 데이터를 기반으로 사용자 서비스 경험 개선 혹은 프로세스 최적화 오류 최소화 머신 러닝 알고리즘 이용 이상적인 데이터 흐름 데이터 인프라 구축 데이터 분석 : 지표 정의 및 시각화 데이터 과학 적용 사용자 경험 개선 데이터 플랫폼 발..

데브코스 TIL 2023.11.27
이전
1
다음
더보기
프로필사진

프로그래머스 데이터 엔지니어링 데브코스 2기 수강생 입니다

  • 전체보기 (153)
    • 데브코스 TIL (152)
      • [프로젝트] (3)
      • Python (1)
      • 자료구조, 알고리즘 (26)
      • HTML, CSS (2)
      • Web Scrapping (15)
      • Django, API (7)
      • SQL (6)
      • AWS 클라우드 (17)
      • 데이터 파이프라인, Airflow (17)
      • Docker (9)
      • DBT (4)
      • 빅데이터, 스트리밍 데이터 처리 (32)
      • Machine Learning (4)

Tag

_AWS, _Airflow, _설치, 프로그래머스, _HTML, _머신러닝, _Docker, _SparkSQL, _실습, _sql, _dbt, _문제풀이, 프로그래머스데브코스, _Kafka, _Spark, 프로그래머스데브코스데이터엔지니어링, _selenium, _소개, _DAG, _redshift,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/05   »
일 월 화 수 목 금 토
1 2 3
4 5 6 7 8 9 10
11 12 13 14 15 16 17
18 19 20 21 22 23 24
25 26 27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바