코딩개발 코딩개발

zookeeper

• [Kafka] - 16. Kafka 설치

  개발/Kafka 2022. 8. 18. 16:27

  Kafka의 기본 개념을 알고 있다고 가정 후 진행하였습니다. Kafka는 Apache Kafka와 Confluent Kafka 두 가지의 종류로 나뉩니다. 금일 설치할 Kafka는 Apache Kafka입니다. Apache Kafka는 Opensource 입니다. 1. Install Kafka 아래 링크를 참조하여 설치합니다. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 최근 올라와 있는 kafka_2.13-3.2.1.tgz 파일을 이용하여 설치하겠습니다. WSL2 Ubuntu 환경에서 설치를 진행하였습니다. 원하는 File위치나 새로 생성하여 진..

  Read More
• [Kafka] - 17. Docker-compose Kafka 개발환경 구축 및 테스트

  개발/Kafka 2022. 8. 11. 17:34

  1. Docker 설치 Docker부터 설치하여 줍니다. ( 설치 방법은 Docker Category에서 확인하시면 됩니다. ) $ docker -v # Docker version 20.10.17, build 100c701 $ docker-compose -v # Docker Compose version v2.6.1 Docker를 기본으로 하기 때문에 중간에 이해가 안되시면 Docker 개념부터 보시는 것을 추천합니다. 2. Zookeeper, Broker Container 설치 및 실행 이론에서 배운 바와 같이 Zookeeper가 실행 한 후에 Kafka를 실행시켜주어야 합니다. ( 이에 따라 Broker에는 depends_on parameter 추가 참고 ) Zookeeper1,2,3은 12181번 /..

  Read More
• [Kafka] - 7. In sync Replicas

  개발/Kafka 2022. 8. 5. 02:57

  Replication of Partition 장애를 대비하기 위해 Partition을 Replicate하여 다른 Broker에 Replicas(복제본)을 만들어 두어 장애를 대비한다. 실제로 어떻게 복제하는가?를 알아보자 1. ISR In Sync Replicas 로 '얼마나 잘 복제하고 있는가'에 대한 지표 ISR은 High Water Mark라고 하는 지점까지 동일한 Replicas이다. Leader Partition은 가진 Broker와 이를 따르는 Follower (102,103)이 있다. replica.lag.max.messages 값이 4에 따라, ISR과 OSR이 나누어진다. High Water Mark LOG-END-OFFSET과 ISR의 Last-Committed offset의 차이가 r..

  Read More
• [Kafka] - 3. Broker&Zookeeper

  개발/Kafka 2022. 8. 3. 23:21

  1. Broker Partition에 대한 Read,Write를 관리하는 Software Kafka Broker = Kafka Server 와 동일한 의미. Topic 내에 Partition들을 분산, 유지 관리 Broker들은 id로 identify ( Id는 무조건 숫자 ) Topic은 일부 Partition들만 포함한다. ( 전체 Partition은 X ) Broker의 id와 partition id는 아무 연관이 없다. Topic 생성 시 Kafka가 자동으로 Topic을 구성하는 Partition들을 Broker에게 분산 분배 1-2) Kafka Cluster 여러 개의 Broker로 구성 Client는 특정 Broker에게 연결하여 전체 Cluster에 연결 최소 3대 이상의 Broker를 하..

  Read More