filebeats
-
[Kafka] - 20. Filebeats to Kafka(Log produce)개발/Kafka 2022. 8. 25. 19:38
Appicatoin의 Log 데이터를 ELK ( Elasticsearch,Kibana,logstash ) 로 구축하여 볼 예정입니다. 들어가기 앞서, Kafka는 Docker-compose로 이미 구성을 완료하였습니다. Architecture 구상한 Architecture = log 수집 -> filebeats -> Kafka -> logstash -> elasticsearch입니다. 1. Filebeats 가상 로그 환경을 만들어주는 환경을 사용하여 구축할 예정입니다. ( Fake-Apache-Log-generator ) docker-compose로 아래와 같이 구성하여 줍니다. centos8 version은 EOL되었기 때문에 mirroring error가 발생하여 값을 변경하여 줍니다. #docke..