예니의 코딩일기

프로젝트 기획 주제 농산물 가격 데이터를 통한 물가 변동 조회 구조 API 데이터 수집 S3 버킷 생성 및 API 연동 Snowflake 생성 및 S3 벌크 업데이트 Snowflake Summary 생성 Superset 대시보드 생성 프로젝트 코드 RAW_DATA 전처리 UPDATE dev.raw_data.test_data SET TS = TO_DATE(TS, 'YYYY/MM/DD') WHERE TS LIKE '%/%' ; SELECT * FROM dev.raw_data.test_data ORDER BY TS DESC ; 사용할 데이터로 테이블 생성 CREATE or replace TABLE dev.raw_data.today_data AS SELECT * FROM raw_data.test_data TD ..

강의 Snowflake "Snowflake"는 클라우드 기반 데이터 웨어하우스에서 시작되어 현재는 데이터 클라우드로 발전하였습니다. AWS, GCP, Azure 등의 글로벌 클라우드 위에서 모두 동작하는 멀티 클라우드 입니다. Snowflake 특징 스토리지와 컴퓨팅 인프라 별도 설정 → 가변 비용 모델 SQL 기반 빅데이터 저장, 처리, 분석 가능 비구조화된 데이터 처리 및 머신러인 기능 제공 배치 데이터 및 실시간 데이터 처리 지원 Time Travel : 과거 데이터 쿼리 기능 → 트렌드 분석 용이 웹 콘솔 및 Python API 이용 가능 ODBC/JDBC 연결 지원 클라우드 스토리지를 외부 테이블로 사용 가 타지역에 데이터 공유(Cross-Region Replication) 기능 지원 계정 구성..