코딩개발 코딩개발

broker

• [Kafka] - 16. Kafka 설치

  개발/Kafka 2022. 8. 18. 16:27

  Kafka의 기본 개념을 알고 있다고 가정 후 진행하였습니다. Kafka는 Apache Kafka와 Confluent Kafka 두 가지의 종류로 나뉩니다. 금일 설치할 Kafka는 Apache Kafka입니다. Apache Kafka는 Opensource 입니다. 1. Install Kafka 아래 링크를 참조하여 설치합니다. https://kafka.apache.org/downloads Apache Kafka Apache Kafka: A Distributed Streaming Platform. kafka.apache.org 최근 올라와 있는 kafka_2.13-3.2.1.tgz 파일을 이용하여 설치하겠습니다. WSL2 Ubuntu 환경에서 설치를 진행하였습니다. 원하는 File위치나 새로 생성하여 진..

  Read More
• [Kafka] - 17. Docker-compose Kafka 개발환경 구축 및 테스트

  개발/Kafka 2022. 8. 11. 17:34

  1. Docker 설치 Docker부터 설치하여 줍니다. ( 설치 방법은 Docker Category에서 확인하시면 됩니다. ) $ docker -v # Docker version 20.10.17, build 100c701 $ docker-compose -v # Docker Compose version v2.6.1 Docker를 기본으로 하기 때문에 중간에 이해가 안되시면 Docker 개념부터 보시는 것을 추천합니다. 2. Zookeeper, Broker Container 설치 및 실행 이론에서 배운 바와 같이 Zookeeper가 실행 한 후에 Kafka를 실행시켜주어야 합니다. ( 이에 따라 Broker에는 depends_on parameter 추가 참고 ) Zookeeper1,2,3은 12181번 /..

  Read More
• [Kafka] - 3. Broker&Zookeeper

  개발/Kafka 2022. 8. 3. 23:21

  1. Broker Partition에 대한 Read,Write를 관리하는 Software Kafka Broker = Kafka Server 와 동일한 의미. Topic 내에 Partition들을 분산, 유지 관리 Broker들은 id로 identify ( Id는 무조건 숫자 ) Topic은 일부 Partition들만 포함한다. ( 전체 Partition은 X ) Broker의 id와 partition id는 아무 연관이 없다. Topic 생성 시 Kafka가 자동으로 Topic을 구성하는 Partition들을 Broker에게 분산 분배 1-2) Kafka Cluster 여러 개의 Broker로 구성 Client는 특정 Broker에게 연결하여 전체 Cluster에 연결 최소 3대 이상의 Broker를 하..

  Read More
• [Kafka] - 2. Topic&Partition&Segment

  개발/Kafka 2022. 8. 3. 21:51

  용어 정리 Topic Data를 최종적으로 저장하는 곳으로, 데이터를 구분하기 위한 장소 Producer Message를 Produce해서 Kafka의 Topic으로 Message를 보내는 Appication Consumer Topic의 Message를 가져와서 Consume하는 Application Consumer Group Topic Message를 사용하기 위해 협력하는 Consumer들의 집합 하나의 Consumer들은 하나의 Consumer Group에 포함된다. Consumer Group 내에 Consumer들은 협력하여 Topic의 Message를 분산 병렬처리한다. Producer와 Consumer는 서로 알지 못한다. Procuder와 Consuner는 각각 고유의 속도로 Commit L..

  Read More