데브코스 TIL/빅데이터, 스트리밍 데이터 처리
빅데이터 소개
예니ㅣ
2024. 1. 15. 16:39
강의
빅데이터
정의
- 서버 한대로 처리할 수 없는 규모의 데이터
- 기존의 소프트웨어로는 처리할 수 없는 규모의 데이터
- 4V (Volume, Velocity, Variety, Varecity)
예시
- 디바이스 데이터
- 모바일 디바이스
- 스마트 TV
- 각종 센서 데이터 (IoT 센서)
- 네트워킹 디바이스
- 웹
빅데이터 처리
- 데이터 손실 없이 보관 : 스토리지 분산 시스템
- 처리 시간 효율성 : 병렬처리
- 비구조화된 데이터 처리
대용량 분산 시스템
- 분산 환경 기반 : 다수의 서버 구성에 의 분산 파일 시스템 및 분산 컴퓨팅 시스템
- Fault Tolerance : 소수의 서버 고장에도 동작
- 확장 용이 : Scale Out