Page Cache
-
[Kafka] - 8. acks / Batch / Page Cache&Flush개발/Kafka 2022. 9. 15. 03:28
목차 1. Kafka Acks 2. Kafka Batch 3. Page Cache&Flush 1. Kafka Acks Acks은 Network에 3hand-shake에서 나오는 개념으로, Data가 안전하게 전송하였는지 여부를 확인하는 용도입니다. 이와 같이 Kafka에서도 동일하게 Message(Data)에 대해 Producer가 Kafka에게 전송이 잘 되었는지 알고 싶어합니다. 1-1) Ack Request가 성공할 떄, 사용되는 Producer에 의해 설정되는 Parameter Case1) Acks = 0 Acks가 필요하지 않다는 의미 메시지 손실이 있더라도 빠르게 전송하는 경우 외에는 자주 사용되지 않는다. Case2) Acks = 1 Default 값이다. Leader가 Message를 수신..
-
11. Cache&BlockCS/OS 2022. 8. 8. 15:37
서론 Kafka는 모든 Message(data)를 Disk에 Write하여 저장한다. Kafka에서 Producer가 Broker에 Message를 넘겨주고, Broker가 Disk에 저장하기 위해서 아래와 같이 동작. Disk Flush 시에 Disk에 직접 접근하는 것이 아닌 Page cache memory를 사용하여 속도 향상을 일으켰다. 결국 Memory mapped file과 같은 개념과 유사하게 Memory 내에 일부인 캐시 메모리에다가 Data를 저장해두고 저장하는 것으로 보인다. Cache Hardware,Software의 Component로 요청한 결과를 미리 저장해두었다가 빠르게 사용하는 것이다. I/O 과정을 거치지 않고 Cache Memory에 저장한 값을 이용하여 접근한다. 비싸기..