예니의 코딩일기

강의 Airflow API 활성화 # airflow.cfg 수정 [api] auth_backend = airflow.api.auth.backend.basic_auth # docker-compose.yaml 수정 AIRFLOW_API_AUTH_BACKENDS:'airflow config get-value api auth_backend' docker exec -it learn-airflow-airflow-scheduler-1 airflow config get-value api auth_backend airflow.api.auth.backend.basic_auth,airflow.api.auth.backend.session

강의 구글 시트 연동 구현 절차 시트 API 활성화 및 구글 서비스 어카운트 생성하여 JSON 파일 다운로드 어카운트 생성한 이메일을 구글 시트에 공유 Airflow DAG에서 JSON 파일로 인증 및 조작

강의 Container Orchestration "Container Orchestration"은 다수의 Container를 관리하기 위한 도구 입니다. 기능 모니터링 배포 혹은 롤백 스케일링 네트워크 : Load Balancer 생성 필요 인사이트 : 문제 해결 및 Logging/Analytics 제공 종류 Mesos Marathon DEIS Rancher Nomad Docker Swarm K8s K8s "Kuberntes"(K8s)는 컨테이너 기반 서비스 배포/스케일/관리를 자동화하는 오픈소스 프레임워크 입니다. 물리서버 및 가상서버 위에서 모두 동작합니다. "Pod"는 같은 디스크와 네트워크를 공유하는 다수의 컨테이너를 포함하는 집합 입니다. 일반적으로 하나의 Pod에 하나의 Container를 사용..

실습 실행 과정 1. airflow-setup Github repo clone git clone https://github.com/learndataeng/learn-airflow.git 2. airflow-setup/yml 다운로드 cd learn-airflow curl -LfO "https://airflow.apache.org/docs/apache-airflow/2.5.1/docker-compose.yaml" 3. docker-compose.yaml version x-airflow-common services postgres redis airflow-webserver airflow-scheduler airflow-worker airflow-trigger airflow-init volumes postgr..

강의 Docker Compose "Docker Compose"는 다수의 Container로 구성된 소프트웨어를 사용할 수 있도록 도와주는 기능 입니다. 개별 Container를 각각 관리하는 것보다 생산성이 높습니다. 다양한 버전 생성이 일반적입니다. (dev, test, prod) # 일반적인 표현 docker-compose.yml docker-compose.yaml # 가능한 표현 docker compose.yml docker compose.yaml # 다양한 버전 존재할 때 docker-compose -f docker-compose.dev.yml Docker Compose 명령 docker-compose build : build 키 지정된 경우 docker-compose pull : image 키 ..

강의 Docker Network "Docker Network"는 다수의 컨테이너가 존재하는 소프트웨어를 실행할 때 컨테이너 간에 연결을 이어주는 기능 입니다. 연결 상황에 따라 별개의 네트워크를 만들어 사용할 수 있습니다. back-tier front-tier 실습 Voting application vote, result, worker Container 존재 git clone https://github.com/dockersamples/example-voting-app.git # vote/app.py def get_redis(): if not hasattr(g, 'redis'): g.redis = Redis(host="redis", db=0, socket_timeout=5) return g.redis //..