강의
Airflow 설치 방법
직접 설치
- Docker Desktop 사용
git clone https://github.com/yen/airflow-setup.git
cd airflow-setup
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml'
docker-compose -f docker-compose.yaml pull
docker-compose -f docker-compose.yaml upc
- 리눅스 서버 사용 : AWS EC2 및 우분투 20.04
- AWS 계정 필요 : Free Tier가 아니므로 비용 발생 고려
Airflow 설치 과정에서 3개의 어카운트가 사용됩니다.
- ubuntu : 메인 어카운트
- postgres : postgres 액세스용 airflow 계정
- airflow : Airflow용 어카운트
클라우드 사용
프로덕션 환경에서 선호합니다.
다수의 서버가 기본이므로 비용이 크게 발생합니다.
'데브코스 TIL > 데이터 파이프라인, Airflow' 카테고리의 다른 글
Airflow DAG 작성 예제 1, 2 (0) | 2023.12.13 |
---|---|
Airflow 기본 프로그램 실행 (0) | 2023.12.12 |
Airflow 소개 (0) | 2023.12.11 |
ETL 작성 실습 (0) | 2023.12.11 |
데이터 파이프라인 소개 (0) | 2023.12.11 |