예니의 코딩일기

강의 RDS, DocumentDB, DynamoDB "SQL"은 Relational Database Management Systems(RDBMS)를 다룹니다. "NoSQL"은 스키마 형식이 일관적이지 않은 비정형 데이터를 다룹니다. "RDS"는 관계형 데이터베이스를 제공하는 서비스 입니다. Primary와 StandBy로 이루어져 있습니다. 데이터를 저장하는 EBS가 포함되어 있습니다. "DocumentDB"는 문서 전용 NoSQL 데이터베이스 서비스 입니다. MongoDB API 워크로드의 완전 관리 및 유연한 확장이 가능합니다. 스토리지 및 컴퓨팅이 분리되어 독립적으로 조정합니다. "MongoDB"는 Document 지향 데이터베이스 입니다. 데이터 중복이 발생할 수 있지만, 접근성과 가시성이 좋습니..

강의 EC2 개요 "ED2"는 AWS에서 가장 보편적으로 사용되는 서버를 할당받는 서비스 입니다. 가상 컴퓨팅 환경을 인스턴스라고 하며 Amazon 머신 이미지(AMI)를 이용하여 인스턴스를 만들 수 있습니다. 키 페어를 사용해 로그인할 수 있습니다. 임시 데이터를 저장하는 인스턴스 스토어 볼륨은 인스턴스를 중단, 최대 절전 모드 전환 혹은 종료 시에 삭제됩니다. 영구 저장하기 위해서는 Amazon Elastic Block Store(Amazon EBS)를 이용해야 합니다. 보안 그룹을 통해 인스턴스에 연결할 수 있는 프로토콜, 포트, 소스 IP 범위를 지정하는 방화벽 기능을 이용할 수 있습니다. 동적 클라우드 컴퓨팅에서 인스턴스를 추가/삭제 하더라도 고정적인 IP 주소를 사용하기 위해 탄력적 IP 주소..

강의 클라우드 서비스 개요 "클라우드 컴퓨팅"은 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한만큼만 비용을 지불하는 방식 입니다. 물리적으로 데이터 센터와 서버를 구입, 소유 및 유지 관리하는 대신, 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, 데이터베이스와 같은 기술 서비스에 액세스 할 수 있습니다. 장점 민첩성 탄력성 : 추가/삭제 용이 비용절감 : 사용하지 않는 리소스 반납 가능 On demend 관리 용이성 클라우드 서비스 제품 종류 아마존 AWS(Amazon Wev Services) 마이크로소프트 애저(Azure) 구글 GCP(Google Cloud Platform) 오라클 OCI(Oracle Cloud Insfrastructure) IBM 클라우드 알리바바 클라우드 KT..

강의 트랜잭션 "트랜잭션"(Transaction)은 Atomic하게 실행되어야 하는 SQL을 묶어서 하나의 작업처럼 처리하는 방법 입니다. BEGIN과 END 혹은 BEGIN과 COMMIT 사이에서 사용합니다. ROLLBACK을 사용하여 BEGIN 전의 상태로 돌이킬 수 있습니다. 대표적인 예시로 은행 계좌 이체가 있습니다. BEGIN; A 계좌로부터 인출; B 계좌로 입금; END 혹은 COMMIT; Commit Mode : autocommit True : 모든 레코드 수정/삭제/추가 작업이 기본적으로 데이터베이스에 바로 쓰여짐. → BEGIN;COMMIT; 과 ROLLBACK; 사용 필요 False : 모든 레코드 수정/삭제/추가 작업이 COMMIT 호출 전에 commit 불가 → .commit()과..

강의 JOIN "JOIN"은 다수의 테이블을 공통 필드를 통해 merge하는 함수 입니다. 주로 스타 스키마로 분산되어 있는 테이블을 통합하는데 사용합니다. JOIN의 종류를 정해주지 않은 경우 INNER JOIN이 기본으로 적용됩니다. SELECT A.*, B.* FROM tableA ___ JOIN tableB ON A.key1 = B.key1 and A.key2 = B.key2 ... 종류 INNER JOIN : 교집합 양쪽 테이블에서 매칭되는 레코드만 리턴 양쪽 테이블의 필드가 모두 채워진 상태로 리턴 FULL JOIN : 합집합 양쪽 테이블의 모든 레코드 리턴 매칭되는 경우에만 양쪽 테이블의 모든 필드들이 채워진 상태로 리턴 CROSS JOIN : 조합(Combination) 양쪽 테이블의 모든..

강의 GROUP BY & Aggregate "GROUP BY"는 테이블의 레코드를 그룹핑하는 함수 입니다. "Aggregate 함수"는 그룹핑한 필드에서 다양한 정보를 계산하는 함수들을 말합니다. 계산한 결과는 필드 이름(alias)를 지정하여 주는 것이 좋습니다. COUNT SUM AVG MIN MAX LISTAGG CTAS "CTAS"는 SELECT을 이용하여 테이블을 생성하는 방법 입니다. 기존의 테이블을 기반으로 데이터 분석에 기본이 되는 테이블을 사전에 생성할 수 있습니다. DROP TABLE IF EXISTS new_table; CREATE TABLE new_table AS SELECT A_table JOIN B_table ; 데이터 품질 확인 방법 중복된 레코드 체크하기 -- 전체 레코드 수..