dbt 소개 및 설치

강의

dbt

"DBT"(Data Build Tool)은 ELT용 오픈소스 입니다.

• 데이터 웨어하우스 지원 : Redshift, Snowflake, Bigquery, Spark
• 클라우드 버전 존재 : dbt Cloud

 

dbt 구성 컴포넌트

• models
  • 테이블을 티어로 관리 : CTAS, Lineage 트래킹
  • Table, View, CTE
• tests
• snapshots

 

"Fact 테이블"은 분석의 초점이 되는 양적 정보를 포함하는 중앙 테이블 입니다.

"Dimension 테이블"은 Fact 테이블에 대한 상세 정보를 제공하는 테이블 입니다.

 

사용 목적

• 데이터 변경 사항 이해 및 롤백 가능
• 데이터간 리니지 확인 가능
• 데이터 품질 테스트 및 에러 보고
• Fact 테이블 증분 로드 (Incremental Update)
• Dimension 테이블 변경 추적 (히스토리 테이블)
• 용이한 문서 작성

 

---

dbt 설치

사용 절차

1. dbt 설치 : dbt Cloud 혹은 dbt Core 혹은 git
2. dbt 환경설정 : yml 수정
3. Connector 설정 : Redshift, Snowflake, Bigquery
4. 데이터 모델링 (Tier) : Raw Data → Staging → Core
5. 테스트 코드 작성
6. Snapshot 설정

pip3 install dbt-redshift

dbt init learn_dbt