솔루션/kafka
kafka send large message
devmoons
2020. 5. 7. 18:26
문서 설명이 좀 애매한데 이 값들을 다 조정해줘야 한다.
https://kafka.apache.org/documentation/
Apache Kafka
Apache Kafka: A Distributed Streaming Platform.
kafka.apache.org
(사용하는 버전에 맞는 것을 참고하시게)
producer (kafka client / producer config)
- max.request.size
broker (kafka server / server.properties)
- message.max.bytes
- replica.fetch.max.bytes: message.max.bytes 보다 크거나 같게
- socket.request.max.bytes 이 값도 충분히 커야 하지만 보통 100M 로 잡혀있어서 신경 안 써도 될 듯
consumer 쪽은 fetch size 조절 해줘야 한다고 하는데, simple consumer 를 사용해서 이건 테스트 안 해봤다.