데브코스 TIL/데이터 파이프라인, Airflow

Airflow 설치

예니ㅣ 2023. 12. 12. 10:00

강의

Airflow 설치 방법

직접 설치

  • Docker Desktop 사용
git clone https://github.com/yen/airflow-setup.git

cd airflow-setup
curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml'

docker-compose -f docker-compose.yaml pull
docker-compose -f docker-compose.yaml upc
  • 리눅스 서버 사용 : AWS EC2 및 우분투 20.04
    • AWS 계정 필요 : Free Tier가 아니므로 비용 발생 고려

 

Airflow 설치 과정에서 3개의 어카운트가 사용됩니다.

  • ubuntu : 메인 어카운트
  • postgres : postgres 액세스용 airflow 계정
  • airflow : Airflow용 어카운트

 

클라우드 사용

프로덕션 환경에서 선호합니다.

다수의 서버가 기본이므로 비용이 크게 발생합니다.

 

 

 

 

'데브코스 TIL > 데이터 파이프라인, Airflow' 카테고리의 다른 글

Airflow DAG 작성 예제 1, 2  (0) 2023.12.13
Airflow 기본 프로그램 실행  (0) 2023.12.12
Airflow 소개  (0) 2023.12.11
ETL 작성 실습  (0) 2023.12.11
데이터 파이프라인 소개  (0) 2023.12.11