Data Lake / Warehouse / Mart

Data Lake

---

• 정형 데이터와 비정형 데이터를 모두 볼륨에 저장할 수 있는 중앙 리포지토리입니다
• 데이터는 일반적으로 먼저 처리되거나 구조화되지 않은 원시 형식으로 저장됩니다
• 데이터 스트림이 처리되고 도착하는 즉시 분석에 사용할 수 있는 네이티브 스트리밍을 지원합니다.
• 데이터 레이크는 데이터 스트림이 처리되고 도착하는 즉시 분석에 사용할 수 있는 기본 스트리밍을 지원합니다.

E.g) Kafka, Hadoop, Spark

 

Data Warehouse

---

• 모든 데이터를 함께 가져와 구조화된 방식으로 저장합니다. 일반적으로 이기종 소스의 데이터를 연결하고 분석하는 데 사용됩니다.
• 고성능 SQL(Structured Query Language) 작업을 지원하기 위해 데이터 구조에 의존합니다.
• 데이터를 저장하기 전에 사전 처리해야 하는 ETL 요구 사항에 의해 제한됩니다.
• 데이터 웨어하우스는 분석에 사용하기 전에 데이터를 수집하고 변환하기 위해 순차적 ETL이 필요하므로 스트리밍 분석에 비효율적입니다.

 

Data Mart

---

• 데이터 마트를 사용해 데이터에 빠르게 액세스하고, 인사이트를 신속히 얻을 수 있음
• 데이터 마트는 필요한 데이터가 보고서, 대시보드 및 시각화 자료로 생성되기 전에 수집 및 정리되는 중앙화된 공간으로 널리 활용됨