예니의 코딩일기

강의 Airflow 운영시 주의사항 Airflow 로그 파일 주기적인 삭제 혹은 백업 필요 Airflow 메타데이터 주기적인 백업 필요

강의 Dynamic Dags "Dynamic Dags"는 템플릿과 YAML을 기반으로 만들 수 있습니다. 비슷한 DAG를 매뉴얼하게 개발하는 것을 방지할 수 있습니다. # config_appl.yml dag_id: 'APPL' schedule: '@daily' catchup: False symbol: 'APPL' # config_googl.yml dag_id: 'GOOG' schedule: '@weekly' symbol: 'GOOG' # generator.py from jinja2 import Environment, FileSystemLoader import yaml import os file_dir = os.path.dirname(os.path.abspath(__file__)) env = Environ..

강의 Task Groups "TaskGroup"을 생성하여 태스크 수가 많은 DAG를 태스크의 성격에 따라 관리할 수 있습니다. TaskGroup 안에 TaskGroup을 생성할 수 있습니다. TaskGroup의 실행 순서를 정의할 수 있습니다.

강의 Dag 실행 방법 주기적 실행 : Schedule로 지정 Dag에 의한 트리거 Explicit Trigger : TriggerDagOperator Reactive Trigger : ExternalTaskSensor 조건에 따른 분기 : BranchPythonOperator 불필요한 태스크 처리 : LatestOnlyOperator Trigger Rules "Trigger Rules"는 Upstream 태스크의 성공 혹은 실패 상황에 따라 이어질 태스크의 실행 여부를 결정하는 파라미터 입니다. all_success all_failed all_done one_success none_failed none_failed_min_one_success TriggerDagOperator from airflow.o..

강의 Airflow API 활성화 # airflow.cfg 수정 [api] auth_backend = airflow.api.auth.backend.basic_auth # docker-compose.yaml 수정 AIRFLOW_API_AUTH_BACKENDS:'airflow config get-value api auth_backend' docker exec -it learn-airflow-airflow-scheduler-1 airflow config get-value api auth_backend airflow.api.auth.backend.basic_auth,airflow.api.auth.backend.session

강의 구글 시트 연동 구현 절차 시트 API 활성화 및 구글 서비스 어카운트 생성하여 JSON 파일 다운로드 어카운트 생성한 이메일을 구글 시트에 공유 Airflow DAG에서 JSON 파일로 인증 및 조작