Kafka 기타기능

강의

Kafka Connect

"Kafka Connect"는 Kafka 위에 생성된 중앙 집중 데이터 허브 입니다.

• Broker 일부 혹은 별도 서버로 구성 → 별도 오픈소스 프로젝트
• 데이터 버스 혹은 메시지 버스
• 모드
  • Standalone 모드 : 개발 혹은 테스트
  • Distributed 모드
• 데이터베이스, 파일 시스템, 키-값 저장소, 검색 인덱스 등 저장
• 데이터 소스 및 데이터 싱크

 

---

Kafka Schema Registry

"Kafka Schema Registry"는 Topic 메시지 데이터에 대한 스키마를 관리 및 검증합니다.

• 포맷 변천(Schema Evolution) 지원 : Schema ID 혹은 버전 사용
• 포맷 변경 종류
  • Forward Compatibility : Producer 변경 후 Consumer 점진적 변경
  • Backward Compatibility : Consumer 변경 후 Producer 점진적 변경
  • Full Compatibility : Producer 및 Consumer 변경

 

---

REST Proxy

"REST Proxy"는 클라이언트가 API 호출을 사용하여 Kafka를 사용할 수 있도록 제공합니다.

• 메시지 생성 및 소비, 토픽 관리 가능한 표준화된 방법 제공
• Serialization 및 Deserialization 수행
• Load Balancing 수행
• 사내 네트워크 밖에서 Kafka에 접근하기 위해 사용할 때 유용

 

---

Kafka Streams

"Kafka Streams"는 Kafka Topic을 소비 및 생성하는 실시간 스트림 처리 라이브러리 입니다.

• 레코드 단위 처리

 

---

ksqlDB

"ksqlDB"는 KSQL을 대체하는 Kafka Streams로 구현된 스트림 처리 데이터베이스 입니다.

• SQL과 유사한 쿼리 언어
• 필터링, 집계, 조인, 윈도우임 등 SQL 작업 지원
• 연속 쿼리 생성 가능
• 지속 업데이트되는 뷰 지원