[Kafka] - 1. What is Apache Kafka

Apache Kafka

---

Linked-in에서 일 4.5조개의 Data를 처리하기 위하여 만든 솔루션
Data in motion platform = Event-Stream Platform

 

 

Event란?

비즈니스에서 일어나는 모든 일

• 청구서 발행, 배송 물건의 위치 정보, 택시 GPS, Sensor 온도 등등..

 

Event가 발생함으로써 특징

• Bussiness 모든 영역에서 광범위하게 발생
• 대용량의 Data가 발생한다

 

-> Message Queue로는 처리 속도를 잡을 수 없다.

-> Event-Streaming Data의 필요성

Kafka는 이를 처리 할 수 있도록 만들었다.

특징

1. Event-Stream을 안전하게 전송(Publish&Subscribe)

2. Write to Disk

3. Processing&Analysis

 

Event-Streaming Data 실 사용 사례

• 교통 - ETA(도착 예정 시간)
• 금융 - 거래 위험
• 오락 - 사기 감지
• 온라인 - 재고 정보

 

장점

• 처리량이 빠르다.(저렴한 장비로도 초당 200만 Write처리 가능)
• Latency가 낮다.