예니의 코딩일기

프로젝트 기획 주제 농산물 가격 데이터를 통한 물가 변동 조회 구조 API 데이터 수집 S3 버킷 생성 및 API 연동 Snowflake 생성 및 S3 벌크 업데이트 Snowflake Summary 생성 Superset 대시보드 생성 프로젝트 코드 RAW_DATA 전처리 UPDATE dev.raw_data.test_data SET TS = TO_DATE(TS, 'YYYY/MM/DD') WHERE TS LIKE '%/%' ; SELECT * FROM dev.raw_data.test_data ORDER BY TS DESC ; 사용할 데이터로 테이블 생성 CREATE or replace TABLE dev.raw_data.today_data AS SELECT * FROM raw_data.test_data TD ..

강의 시각화 툴 "시각화 툴"은 대시보드 혹은 BI(Business Intelligence)툴이라고 부릅니다. KPI(Key Performance Indicator), 지표, 데이터 포인트를 데이터 기반(Data-Driven)으로 계산/분석/표시해주는 툴 입니다. 시각화 툴 종류 Looker 혹은 Tableau를 많이 사용하는 추세 입니다. Excel, Google Spreadsheet Python Looker LookML : 자체언어로 데이터 모델 생성 내부 및 외부 고객을 위한 대시보드 작성 가능 생성 후 수정 용이 정보 과부하 문제 가능성 Tableau 초기 사용이 어렵지만 강력한 대시보드 작성 가능 Power BI Apache Surperset Mode Analytics KPI 대시보드보다 EDA..

강의 Snowflake "Snowflake"는 클라우드 기반 데이터 웨어하우스에서 시작되어 현재는 데이터 클라우드로 발전하였습니다. AWS, GCP, Azure 등의 글로벌 클라우드 위에서 모두 동작하는 멀티 클라우드 입니다. Snowflake 특징 스토리지와 컴퓨팅 인프라 별도 설정 → 가변 비용 모델 SQL 기반 빅데이터 저장, 처리, 분석 가능 비구조화된 데이터 처리 및 머신러인 기능 제공 배치 데이터 및 실시간 데이터 처리 지원 Time Travel : 과거 데이터 쿼리 기능 → 트렌드 분석 용이 웹 콘솔 및 Python API 이용 가능 ODBC/JDBC 연결 지원 클라우드 스토리지를 외부 테이블로 사용 가 타지역에 데이터 공유(Cross-Region Replication) 기능 지원 계정 구성..

강의 AWS SageMaker "AWS SageMaker"는 머신러닝 모델 개발을 처음부터 끝까지 해결해주는 AWS 서비스 입니다. Tensorflow/Keras, PyTorch, MXNet 등 머신러닝 프레임워크를 지원합니다. 자체 SageMaker 모듈로 머신러닝 모델 훈련이 가능합니다. 개발하기 위해서 SageMaker Studio 혹은 Python Notebook을 이용할 수 있습니다. 기능 트레이닝 셋 준비 모델 훈련 모델 검증 모델 배포와 관리 "AutoPilot"을 이용하면 훈련용 데이터 셋에 대한 코딩 없이 모델 훈련이 가능합니다. 데이터 분석(EDA; Exploratory Data Analysis) 수행 머신 러닝 모델 생성 및 훈련, 테스트, 테스트 결과 기록 모델개발 속도 단축 API..

강의 AWS Glue "AWS Glue"는 AWS Serverless ETL 서비스 입니다. 기능 데이터 카탈로그 : 데이터 소스 및 대상의 메타데이터에 대한 검색 기능 제 ETL 작업 생성 : AWS Glue Studio 작업 모니터링 및 로그 서버리스 실행

강의 Redshift 권한과 보안 사용자별 혹은 테이블별 권한 설정 하지 않음 스키마별 , 그룹별 혹은 역할별 접근 권한 설정 RBAC(Role Based Access Control) : 한 사용자가 다수의 역할에 포함(Inclusive) 개인정보와 관련된 테이블은 별도 스키마 설정 액세스 권한 부여 스키마, 그룹 혹은 역할에 읽기 및 쓰기 권한을 부여할 수 있습니다. # analytics_users GRANT USAGE ON SCHEMA analytics TO GROUP analytics_users; GRANT ALL ON ALL TABLES IN SCHEMA analytics TO GROUP analytics_users; GRANT ALL ON SCHEMA adhoc TO GROUP analytics..