예니의 코딩일기

주제 구글 트렌드와 네이버 데이터랩을 이용하여 네이버 실시간 검색어 복원하기 구조 데이터 인프라 형성 구글 트렌드의 키워드 추출 네이버 데이터랩을 통해 검색어 순위 및 백분위 횟수 추출 이슈 구글 트렌드 공용 API 존재하지 않음 네이버 데이터랩 금일 데이터 존재하지 않음 키워드 입력 개수 5개 제한 네이버 데이터랩 ID, PASSWORD Variables 설정 전체 및 성별별 데이터 적재 프로젝트 코드 API RAW_CODE.py import os import sys import pandas as pd from pandas import Timestamp from datetime import datetime import urllib.request import json client_id = "id" cli..

강의 Airflow 운영시 주의사항 Airflow 로그 파일 주기적인 삭제 혹은 백업 필요 Airflow 메타데이터 주기적인 백업 필요

강의 Task Groups "TaskGroup"을 생성하여 태스크 수가 많은 DAG를 태스크의 성격에 따라 관리할 수 있습니다. TaskGroup 안에 TaskGroup을 생성할 수 있습니다. TaskGroup의 실행 순서를 정의할 수 있습니다.

강의 Dag 실행 방법 주기적 실행 : Schedule로 지정 Dag에 의한 트리거 Explicit Trigger : TriggerDagOperator Reactive Trigger : ExternalTaskSensor 조건에 따른 분기 : BranchPythonOperator 불필요한 태스크 처리 : LatestOnlyOperator Trigger Rules "Trigger Rules"는 Upstream 태스크의 성공 혹은 실패 상황에 따라 이어질 태스크의 실행 여부를 결정하는 파라미터 입니다. all_success all_failed all_done one_success none_failed none_failed_min_one_success TriggerDagOperator from airflow.o..

강의 Airflow API 활성화 # airflow.cfg 수정 [api] auth_backend = airflow.api.auth.backend.basic_auth # docker-compose.yaml 수정 AIRFLOW_API_AUTH_BACKENDS:'airflow config get-value api auth_backend' docker exec -it learn-airflow-airflow-scheduler-1 airflow config get-value api auth_backend airflow.api.auth.backend.basic_auth,airflow.api.auth.backend.session

강의 구글 시트 연동 구현 절차 시트 API 활성화 및 구글 서비스 어카운트 생성하여 JSON 파일 다운로드 어카운트 생성한 이메일을 구글 시트에 공유 Airflow DAG에서 JSON 파일로 인증 및 조작