topic__consumer_offset
-
[Kafka] - 5. Consumer개발/Kafka 2022. 8. 4. 17:02
Consumer 고유의 속도로 Commit log에서 순서대로 Poll(Read를 수행) Consumer Offeset Consumer가 데이터를 읽을 위치를 Commit하여 다시 읽음을 방지한다. Topic_Consumer_offset Kafka internal Topic data로, Consumer의 offset의 위치를 저장하여 둔 공간이다. 아래 그림을 보면, Group A의 초록색의 Consumer는 현재 2번까지 read를 한 뒤, 3번을 commit한다. 이러한 Offset 정보는 Topic__consumer_offset이라는 Kafka internal 공간에 저장된다. Group B에서 각 Consumer는 서로 다른 Partition의 Offset 정보를 가지고 있다. 이를 각각의 Dat..