Airflow 기본 프로그램 실행

강의

Airflow 코드 기본 구조

1. DAG 대표하는 객체 생성 : DAG 이름, 실행주기, 실행날짜, 오너
2. DAG 구성 태스크 생성 : 오퍼레이터 선택. 태스크 ID 부여 및 작업 세부사항 지정
3. 태스크 실행 순서 결정

 

DAG Trigger 방법

• Airflow Web UI
• cmd

airflow dags list
airflow tasks list dag_v1
airflow tasks test dag_v1 ls 2020-08-09
airflow dags test dag_v1 2019-12-08
airflow dags backfill dag_v1 -s 2019-01-01 -e 2019-12-31

 

Bash Operator 사용 예시

from airflow import DAG
from airflow.operators.bash import BashOperator
from datetime import datetime, timedelta


default_args = {
   'owner': 'keeyong',
   'start_date': datetime(2023, 5, 27, hour=0, minute=00),
   'email': ['keeyonghan@hotmail.com'],
   'retries': 1,
   'retry_delay': timedelta(minutes=3),
}

test_dag = DAG(
   "dag_v1", # DAG name
   schedule="0 9 * * *", 
   tags=['test'],
   catchup=False,
   default_args=default_args 
)

t1 = BashOperator(
   task_id='print_date',
   bash_command='date',
   dag=test_dag)

t2 = BashOperator(
   task_id='sleep',
   bash_command='sleep 5',
   dag=test_dag)

t3 = BashOperator(
   task_id='ls',
   bash_command='ls /tmp',
   dag=test_dag)

t1 >> [ t2, t3 ]