데브코스 TIL/[프로젝트] 3

End-to-end 데이터 파이프라인 구성하기

주제 구글 트렌드와 네이버 데이터랩을 이용하여 네이버 실시간 검색어 복원하기 구조 데이터 인프라 형성 구글 트렌드의 키워드 추출 네이버 데이터랩을 통해 검색어 순위 및 백분위 횟수 추출 이슈 구글 트렌드 공용 API 존재하지 않음 네이버 데이터랩 금일 데이터 존재하지 않음 키워드 입력 개수 5개 제한 네이버 데이터랩 ID, PASSWORD Variables 설정 전체 및 성별별 데이터 적재 프로젝트 코드 API RAW_CODE.py import os import sys import pandas as pd from pandas import Timestamp from datetime import datetime import urllib.request import json client_id = "id" cli..

데이터 웨어하우스를 이용한 대시보드 구성

프로젝트 기획 주제 농산물 가격 데이터를 통한 물가 변동 조회 구조 API 데이터 수집 S3 버킷 생성 및 API 연동 Snowflake 생성 및 S3 벌크 업데이트 Snowflake Summary 생성 Superset 대시보드 생성 프로젝트 코드 RAW_DATA 전처리 UPDATE dev.raw_data.test_data SET TS = TO_DATE(TS, 'YYYY/MM/DD') WHERE TS LIKE '%/%' ; SELECT * FROM dev.raw_data.test_data ORDER BY TS DESC ; 사용할 데이터로 테이블 생성 CREATE or replace TABLE dev.raw_data.today_data AS SELECT * FROM raw_data.test_data TD ..

크롤한 웹데이터로 만들어보는 웹사이트

1일차 처음해보는 프론트엔드 파트여서 일단 구조부터 만들어보고 있습니다! 주택 매매 가격 동향 지역 선택 {% if regions %} {% for region in regions %} {{region.dong_name}} {% endfor %} {% else %} no regions {% endif %} A시 A시 A시 A시 등락 지도 :root { --blue: #4e73df; --indigo: #6610f2; --purple: #6f42c1; --pink: #e83e8c; --red: #e74a3b; --orange: #fd7e14; --yellow: #f6c23e; --green: #1cc88a; --teal: #20c9a6; --cyan: #36b9cc; --white: #fff; --gray:..