Rebalancing
-
[Kafka] - 10. Consumer_Rebalance개발/Kafka 2022. 8. 9. 14:51
Partition-Assignment 하나의 Partition은 지정된 Consumer_group 내에 하나의 Consumer만 사용 가능 동일한 Key를 가진 Message는 동일한 Consumer가 사용한다. Consumer의 설정 Parameter 중 Partition.assignment.strategy로 할당 방식을 변경이 가능하다. Consumer Group은 Group Coordinator 프로세스에 의해 관리 된다. Partition.Assignment.Strategy org.apache.kafka.clients.consumer.RangeAssginor : Topic별로 작동하는 Default Assignor org.apache.kafka.clients.consumer.RoundRobinAs..
-
[Kafka] - 5. Consumer개발/Kafka 2022. 8. 4. 17:02
Consumer 고유의 속도로 Commit log에서 순서대로 Poll(Read를 수행) Consumer Offeset Consumer가 데이터를 읽을 위치를 Commit하여 다시 읽음을 방지한다. Topic_Consumer_offset Kafka internal Topic data로, Consumer의 offset의 위치를 저장하여 둔 공간이다. 아래 그림을 보면, Group A의 초록색의 Consumer는 현재 2번까지 read를 한 뒤, 3번을 commit한다. 이러한 Offset 정보는 Topic__consumer_offset이라는 Kafka internal 공간에 저장된다. Group B에서 각 Consumer는 서로 다른 Partition의 Offset 정보를 가지고 있다. 이를 각각의 Dat..