데브코스 TIL/빅데이터, 스트리밍 데이터 처리

데이터 처리 변천

예니ㅣ 2024. 1. 22. 14:11

강의

데이터 처리 단계

  1. 데이터 수집 (Collection)
  2. 데이터 저장 (Storage)
  3. 데이터 처리 (Processing)

 


데이터 저장 시스템 변천

  • 1980년대 후반 : Data Warehouse
  • 2000년대 후반 : Data Lake
  • 2010년대 중반 : Cloud Data Platform / Messaging Queue
  • 2021년 : Data Mesh

 


SLA

"SLA"(Service Level Agreement)는 서비스 제공업체와 고객 간의 계약 혹은 합의 입니다. 

서비스 품질, 성능 및 가용성의 합의된 수준을 개괄적으로 기술

통신, 클라우드 컴퓨팅에서 사용

사내 시스템 간에도 가능

 

성능

  • 처리량(Throughput) : 단위 시간 동안 처리할 수 있는 데이터의 양
  • 지연시간(Latency) : 데이터를 처리하는데 걸리는 시간
  • 대역폭(Bandwidth) : 처리양 X 지연시간
  • 업타임(Uptime)
  • 시의성(Freshness)

 

 



'데브코스 TIL > 빅데이터, 스트리밍 데이터 처리' 카테고리의 다른 글

Lambda Architecture  (0) 2024.01.22
스트리밍 데이터 처리 소개  (0) 2024.01.22
배치 처리 소개  (0) 2024.01.22
Spark 클라우드  (0) 2024.01.22
Spark 내부동작  (0) 2024.01.18