dbt 기능

강의

Seeds

"Seeds"는 다수의 Dimension 테이블을 파일 형태로 데이터웨어하우스에 로드하는 기능 입니다.

dbt seed

 

---

Sources

"Sources"는 입력 데이터를 추상화하여 변경처리를 용이하게 하는 기능 입니다.

• 입력 테이블 별칭 지정 (alias)
• 최신 레코드 체크 기능 제공 (Freshness)

vi sources.yml

cd src
dbt source freshness

 

---

Snapshot

"Snapshot"은 테이블의 변화를 지속적으로 기록하여 과거 시점으로 돌아가서 테이블을 확인할 수 있는 기능 입니다.

 

Snapshot 처리 방법

1. snapshot 폴더 환경설정
2. 데이터 소스 조건 만족 확인 : Primary Key 및 Timestamp 존재 여부
3. 변경 감지 기준 설정

dbt snapshot

 

---

Tests

"Tests"는 데이터 품질을 테스트하는 기능 입니다.

• Generic
  • 내장 일반 테스트
  • unique, not_null, accepted_values, relationships 지원
  • models 폴더
• Singular
  • 커스텀 테스트
  • 결과 리턴 = 실패
  • tests 폴더

dbt test

 

---

Documentation

"Documentation"은 dbt를 문서화하는 기능 입니다.

• .yml 파일에 문서화 추가
• 독립적인 markdown 파일 생성

dbt docs generate

 

---

Expectations

"Expectations"은 dbt용 Great Expectations 기능 입니다.

• expect_column_to_exist
• expect_row_values_to_have_recent_data
• expect_column_values_to_be_null