예니의 코딩일기

  • 홈
  • 태그
  • 방명록

_TaskParameters 1

Airflow DAG 작성 예제 1, 2

강의 DAG 파라미터 "DAG parameters"는 Task parameters와 다르게 DAG 객체를 만들 때 지정합니다. max_active_runs max_active_tasks catchup DAG 폴더 주의 사항 Airflow의 dags 폴더 주기적으로 스캔 → DAG 모듈의 모든 파일 메인 함수 실행 → 개발 중인 테스트 코드 실행 가능 Connetions와 Variables Connetions 일부 연결 관련 정보 저장 : hostname, port number, access credential Postgres 연결 혹은 Redshift 연결 정보 저장 Variables API 키 혹은 일부 구성 정보 저장 값 암호화 가능 : access 혹은 secret 사용 Xcom "Xcom"은 태스..

데브코스 TIL/데이터 파이프라인, Airflow 2023.12.13
이전
1
다음
더보기
프로필사진

프로그래머스 데이터 엔지니어링 데브코스 2기 수강생 입니다

  • 전체보기 (153)
    • 데브코스 TIL (152)
      • [프로젝트] (3)
      • Python (1)
      • 자료구조, 알고리즘 (26)
      • HTML, CSS (2)
      • Web Scrapping (15)
      • Django, API (7)
      • SQL (6)
      • AWS 클라우드 (17)
      • 데이터 파이프라인, Airflow (17)
      • Docker (9)
      • DBT (4)
      • 빅데이터, 스트리밍 데이터 처리 (32)
      • Machine Learning (4)

Tag

_sql, _dbt, 프로그래머스데브코스데이터엔지니어링, _설치, _AWS, _문제풀이, _Kafka, _SparkSQL, _HTML, _Spark, _머신러닝, 프로그래머스, _DAG, 프로그래머스데브코스, _selenium, _실습, _소개, _Docker, _Airflow, _redshift,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/06   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바