kafka send large message

문서 설명이 좀 애매한데 이 값들을 다 조정해줘야 한다.

 

https://kafka.apache.org/documentation/

Apache Kafka

(사용하는 버전에 맞는 것을 참고하시게)

 

producer (kafka client / producer config)

- max.request.size

 

broker (kafka server / server.properties)

- message.max.bytes

- replica.fetch.max.bytes: message.max.bytes 보다 크거나 같게

- socket.request.max.bytes 이 값도 충분히 커야 하지만 보통 100M 로 잡혀있어서 신경 안 써도 될 듯

 

consumer 쪽은 fetch size 조절 해줘야 한다고 하는데, simple consumer 를 사용해서 이건 테스트 안 해봤다.