데브코스 TIL/AWS 클라우드 17

AWS SageMaker

강의 AWS SageMaker "AWS SageMaker"는 머신러닝 모델 개발을 처음부터 끝까지 해결해주는 AWS 서비스 입니다. Tensorflow/Keras, PyTorch, MXNet 등 머신러닝 프레임워크를 지원합니다. 자체 SageMaker 모듈로 머신러닝 모델 훈련이 가능합니다. 개발하기 위해서 SageMaker Studio 혹은 Python Notebook을 이용할 수 있습니다. 기능 트레이닝 셋 준비 모델 훈련 모델 검증 모델 배포와 관리 "AutoPilot"을 이용하면 훈련용 데이터 셋에 대한 코딩 없이 모델 훈련이 가능합니다. 데이터 분석(EDA; Exploratory Data Analysis) 수행 머신 러닝 모델 생성 및 훈련, 테스트, 테스트 결과 기록 모델개발 속도 단축 API..

Redshift 고급 기능

강의 Redshift 권한과 보안 사용자별 혹은 테이블별 권한 설정 하지 않음 스키마별 , 그룹별 혹은 역할별 접근 권한 설정 RBAC(Role Based Access Control) : 한 사용자가 다수의 역할에 포함(Inclusive) 개인정보와 관련된 테이블은 별도 스키마 설정 액세스 권한 부여 스키마, 그룹 혹은 역할에 읽기 및 쓰기 권한을 부여할 수 있습니다. # analytics_users GRANT USAGE ON SCHEMA analytics TO GROUP analytics_users; GRANT ALL ON ALL TABLES IN SCHEMA analytics TO GROUP analytics_users; GRANT ALL ON SCHEMA adhoc TO GROUP analytics..

Redshift 소개

강의 Redshift Redshift 특징 최소 160GB부터 최대 2PB 용량 처리 가능 OLAP : 응답속도 느림 → 프로덕션 데이터베이스 사용 불가 컬럼 기반 스토리지 : 컬럼별 압축 가능 및 컬럼 추가/삭제 용이 벌크 업데이트 지원 : S3로 파일 복사 → COPY로 Redshift에 일괄 복사 고정 용량/비용 옵션 및 가변 비용 옵션 제공 데이터 공유(Datashare) 가능 Primary key 유일성 보장 불가 Postgresql 8.x 및 SQL 호환 Redshift 스케일링 방식 "Resizing"은 용량이 부족해질 때마다 새로운 노드를 추가하는 스케일링 방식입니다. Auto Scaling 옵션으로 설정하여 자동 실행할 수 있습니다. Redshift의 가변비용 옵션으로 Redshift S..

AWS Part 13 Devops

강의 DevOps "DevOps"는 소프트웨어 개발과 운영의 합성어 입니다. 소프트웨어 개발자와 정보기술 전문가 간의 소통, 협업 및 통합을 강조하는 개발 환경이나 문화 입니다. 문화 사람 : 팀, 인원, 가치, 의사소통 하나의 문화를 만들기 자동화 일 : 프로세스, 방법론 효율성 및 빠른 속도 지향 측정 서비스 : 가치, 성격 지속적 개선 공유 자원 : H/W, S/W, 기술, 도구 공동 발전 축적 시간 : 일정, 변경 가능성, 회복탄력성, 예측 자산 생성 "DevOps 엔지니어"는 올바른 DevOps 문화를 위해 기술적 문제 혹은 팀의 차이를 기술적으로 예방하고 해소시키는 사람을 말합니다. "MLOps"는 DevOps를 머신러닝에 적용한 것입니다. AWS만을 이용해서 DataPipeline을 설계할 ..