예니의 코딩일기

강의 Redshift 권한과 보안 사용자별 혹은 테이블별 권한 설정 하지 않음 스키마별 , 그룹별 혹은 역할별 접근 권한 설정 RBAC(Role Based Access Control) : 한 사용자가 다수의 역할에 포함(Inclusive) 개인정보와 관련된 테이블은 별도 스키마 설정 액세스 권한 부여 스키마, 그룹 혹은 역할에 읽기 및 쓰기 권한을 부여할 수 있습니다. # analytics_users GRANT USAGE ON SCHEMA analytics TO GROUP analytics_users; GRANT ALL ON ALL TABLES IN SCHEMA analytics TO GROUP analytics_users; GRANT ALL ON SCHEMA adhoc TO GROUP analytics..

강의 Redshift Redshift 특징 최소 160GB부터 최대 2PB 용량 처리 가능 OLAP : 응답속도 느림 → 프로덕션 데이터베이스 사용 불가 컬럼 기반 스토리지 : 컬럼별 압축 가능 및 컬럼 추가/삭제 용이 벌크 업데이트 지원 : S3로 파일 복사 → COPY로 Redshift에 일괄 복사 고정 용량/비용 옵션 및 가변 비용 옵션 제공 데이터 공유(Datashare) 가능 Primary key 유일성 보장 불가 Postgresql 8.x 및 SQL 호환 Redshift 스케일링 방식 "Resizing"은 용량이 부족해질 때마다 새로운 노드를 추가하는 스케일링 방식입니다. Auto Scaling 옵션으로 설정하여 자동 실행할 수 있습니다. Redshift의 가변비용 옵션으로 Redshift S..

강의 데이터 조직 데이터 조직의 비전은 신뢰할 수 있는 데이터를 바탕으로 부가 가치를 생성하는 것입니다. 데이터 조직의 역할 결정 과학(Decision Science) 고품질 데이터를 기반으로 의사 결정권자에게 입력 제공 데이터 고려 결정(Data Informed Decisions) vs 데이터 기반 결정(Data Driven Decisions) 데이터 기반 지표 정의 혹은 대시보드와 리포트 생성 데이터 분석가(Data Analysist) Product Science 고품질 데이터를 기반으로 사용자 서비스 경험 개선 혹은 프로세스 최적화 오류 최소화 머신 러닝 알고리즘 이용 이상적인 데이터 흐름 데이터 인프라 구축 데이터 분석 : 지표 정의 및 시각화 데이터 과학 적용 사용자 경험 개선 데이터 플랫폼 발..

강의 DevOps "DevOps"는 소프트웨어 개발과 운영의 합성어 입니다. 소프트웨어 개발자와 정보기술 전문가 간의 소통, 협업 및 통합을 강조하는 개발 환경이나 문화 입니다. 문화 사람 : 팀, 인원, 가치, 의사소통 하나의 문화를 만들기 자동화 일 : 프로세스, 방법론 효율성 및 빠른 속도 지향 측정 서비스 : 가치, 성격 지속적 개선 공유 자원 : H/W, S/W, 기술, 도구 공동 발전 축적 시간 : 일정, 변경 가능성, 회복탄력성, 예측 자산 생성 "DevOps 엔지니어"는 올바른 DevOps 문화를 위해 기술적 문제 혹은 팀의 차이를 기술적으로 예방하고 해소시키는 사람을 말합니다. "MLOps"는 DevOps를 머신러닝에 적용한 것입니다. AWS만을 이용해서 DataPipeline을 설계할 ..

강의 CloudWatch "CloudWatch"는 애플리케이션 성능에 대해 대응하고 리소스 사용률을 모니터링하여 최적화하는 서비스 입니다. 정보 수집 모니터링 작업 행위에 대한 알람 로그 모니터링 및 분석 자동 크기 조정 작업 지표 제공

강의 Lambda "Lambda"는 별도의 서버 없이 소스 코드(함수)만 등록하여 작동시키는 서비스 입니다. ApiGateway "API Gateway"는 별도의 서버 없이 API 생성, 유지 관리 및 보호하는 서비스 입니다. Lambda의 트리거에 사용될 수 있습니다. API 유형 HTTP API WebSocket API REST API public REST API private