일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
Tags
- wait region split
- datalake
- hackercup2017
- functional thinking
- 개발7년차매니저1일차
- coursera
- 2016년회고
- kafka
- 데이터레이크
- 회고
- 동시성
- 2017회고
- 테스트주도개발
- Raw-Request-URI
- clean code
- 단위테스트
- 해커컵
- 박종천
- 데이터플랫폼
- 켄트백
- 알고스팟
- 데이터야놀자
- 개발자
- 함수형 사고
- 코딩인터뷰
- 개발자로살아남기
- spray
- 실전사례
- 데이터유통
- 클린코드
Archives
- Today
- Total
Software Engineering Note
kafka send large message 본문
문서 설명이 좀 애매한데 이 값들을 다 조정해줘야 한다.
https://kafka.apache.org/documentation/
(사용하는 버전에 맞는 것을 참고하시게)
producer (kafka client / producer config)
- max.request.size
broker (kafka server / server.properties)
- message.max.bytes
- replica.fetch.max.bytes: message.max.bytes 보다 크거나 같게
- socket.request.max.bytes 이 값도 충분히 커야 하지만 보통 100M 로 잡혀있어서 신경 안 써도 될 듯
consumer 쪽은 fetch size 조절 해줘야 한다고 하는데, simple consumer 를 사용해서 이건 테스트 안 해봤다.
'솔루션 > kafka' 카테고리의 다른 글
kafka simple consumer (0) | 2015.09.06 |
---|---|
kafka 소개 (0) | 2015.09.06 |