offset
-
[Kafka] - 5. Consumer개발/Kafka 2022. 8. 4. 17:02
Consumer 고유의 속도로 Commit log에서 순서대로 Poll(Read를 수행) Consumer Offeset Consumer가 데이터를 읽을 위치를 Commit하여 다시 읽음을 방지한다. Topic_Consumer_offset Kafka internal Topic data로, Consumer의 offset의 위치를 저장하여 둔 공간이다. 아래 그림을 보면, Group A의 초록색의 Consumer는 현재 2번까지 read를 한 뒤, 3번을 commit한다. 이러한 Offset 정보는 Topic__consumer_offset이라는 Kafka internal 공간에 저장된다. Group B에서 각 Consumer는 서로 다른 Partition의 Offset 정보를 가지고 있다. 이를 각각의 Dat..
-
[Kafka] - 2. Topic&Partition&Segment개발/Kafka 2022. 8. 3. 21:51
용어 정리 Topic Data를 최종적으로 저장하는 곳으로, 데이터를 구분하기 위한 장소 Producer Message를 Produce해서 Kafka의 Topic으로 Message를 보내는 Appication Consumer Topic의 Message를 가져와서 Consume하는 Application Consumer Group Topic Message를 사용하기 위해 협력하는 Consumer들의 집합 하나의 Consumer들은 하나의 Consumer Group에 포함된다. Consumer Group 내에 Consumer들은 협력하여 Topic의 Message를 분산 병렬처리한다. Producer와 Consumer는 서로 알지 못한다. Procuder와 Consuner는 각각 고유의 속도로 Commit L..