예니의 코딩일기

프로젝트 기획 주제 농산물 가격 데이터를 통한 물가 변동 조회 구조 API 데이터 수집 S3 버킷 생성 및 API 연동 Snowflake 생성 및 S3 벌크 업데이트 Snowflake Summary 생성 Superset 대시보드 생성 프로젝트 코드 RAW_DATA 전처리 UPDATE dev.raw_data.test_data SET TS = TO_DATE(TS, 'YYYY/MM/DD') WHERE TS LIKE '%/%' ; SELECT * FROM dev.raw_data.test_data ORDER BY TS DESC ; 사용할 데이터로 테이블 생성 CREATE or replace TABLE dev.raw_data.today_data AS SELECT * FROM raw_data.test_data TD ..

강의 데이터 조직 데이터 조직의 비전은 신뢰할 수 있는 데이터를 바탕으로 부가 가치를 생성하는 것입니다. 데이터 조직의 역할 결정 과학(Decision Science) 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공 데이터 고려 결정(Data Informed Decisions) vs 데이터 기반 결정(Data Driven Decisions) 데이터 기반 지표 정의 혹은 대시보드와 리포트 생성 데이터 분석가(Data Analysist) Product Science 고품질 데이터를 기반으로 사용자 서비스 경험 개선 혹은 프로세스 최적화 오류 최소화 머신 러닝 알고리즘 이용 이상적인 데이터 흐름 데이터 인프라 구축 데이터 분석 : 지표 정의 및 시각화 데이터 과학 적용 사용자 경험 개선 데이터 플랫폼 발..

강의 데이터 관련 직군 데이터 엔지니어 SQL, 데이터베이스 ETL/ELT (Airflow, DBT) Spark, Hadoop 데이터 분석가 SQL, 비지니스 도메인에 대한 지식 통계 (AB 테스트 분석) 데이터 과학자 머신러닝 SQL, 파이썬 통계 데이터베이스 "관계형 데이터베이스"는 구조화된 데이터를 저장한 것입니다. 구조화된 데이터 저장 및 질의할 수 있도록 해주는 스토리지 엑셀 스프레드시트 형태의 테이블로 데이터 정의 및 저장 SQL, DDL(Data Definition Language), DML(Data Manipulation Language) 종류 프로덕션 데이터 베이스 MySQL, PostgreSQL, Oracle OLTP(OnLine Transaction Processing) 빠른 속도에 ..