Rolling strategy
-
[Kafka] - 13. Kafka Log File개발/Kafka 2022. 8. 10. 14:05
Kafka Log file Kafka Log Segment File은 Data File와 같은 개념이다. Segment File이 생성되는 위치는 각 Broker의 server.properties File 내 log.dirs Parameter로 정의한다.( ','로 구분 ) 각 Topic과 Partition은 log.dirs 아래에 하위 directory로 구성 E.g) /data/kafka/kafka-log-a/test_topic-0 log.dirs = /data/kafka/kafka-log-a, /data/kafka/kafka-log-b, /data/kafka/kafka-log-b File명에는 의미가 존재한다. 000000123453.* File은 123453 Offset부터 7735203(7735..
-
[Kafka] - 2. Topic&Partition&Segment개발/Kafka 2022. 8. 3. 21:51
용어 정리 Topic Data를 최종적으로 저장하는 곳으로, 데이터를 구분하기 위한 장소 Producer Message를 Produce해서 Kafka의 Topic으로 Message를 보내는 Appication Consumer Topic의 Message를 가져와서 Consume하는 Application Consumer Group Topic Message를 사용하기 위해 협력하는 Consumer들의 집합 하나의 Consumer들은 하나의 Consumer Group에 포함된다. Consumer Group 내에 Consumer들은 협력하여 Topic의 Message를 분산 병렬처리한다. Producer와 Consumer는 서로 알지 못한다. Procuder와 Consuner는 각각 고유의 속도로 Commit L..