Kafka6 [kafka] Parallel Consumer - 파티션 증가 없이 동시 처리량 늘리기 https://d2.naver.com/helloworld/7181840 좋은 글 두고두고 읽기 2023. 10. 26. [Kafka] 카프카, 데이터 플랫폼의 최강자 6~10장 6. 카프카 운영 가이드 6.1 카프카 명령어 (우리팀은 대쉬보드로 관리하기 때문에 간단하게만 정리) kafka-topic.sh // 카프카 생성, 토픽 정보 확인 kafka-config.sh // 카프카 설정 변경 kafka-consumer-groups.sh // 컨슈머 그룹 리스트, 상태와 오프셋 확인 운영중인 카프카의 디스크 공간을 확보하는 가장 좋은 방법 디스크 공간을 가장 많이 차지하는 토픽의 보관 주기를 줄여주는 것 리플리케이션 팩터 변경시 리더 정보가 변경되면 안됨 LAG이 계속 증가하는 상황 컨슈머 처리가 늦어지고있다. 컨슈머 or 파티션 수를 늘려서 대응을 해야 한다. 특정 파티션에서만 LAG이 증가한다면 해당 파티션에 연결된 컨슈머를 확인 해야 한다. 6.2 주키퍼 스케일 아웃 주키퍼 .. 2022. 4. 2. [Kafka] 카프카, 데이터 플랫폼의 최강자 4~5장 4장 카프카 프로듀서 4.4 프로듀서 주요 옵션 bootstrap.servers (호스트 리스트 정보) 카프카 클러스터는 마스터 개념이 없기 때문에 모든 서버가 클라이언트의 요청을 받을 수 있다. acks옵션의 수가 작으면 성능이 좋지만, 메시지 손실 가능성이 있고, 수가 크면 반대 acks=0 설정시 프로듀서가 서버로부터 어떠한 ack도 기다리지 않기 때문에 데이터를 받았는지 보장 x, 전송 실패 결과 알 수 없어서 재요청 불가, 대신 매우 빠름 ack=1 데이터는 기록하지만, 모든 팔로워는 확인하지 않는다. 일부 데이터 손실 가능성 ack=all or -1 리더가 ISR 팔로워부터 데이터에 대한 ack를 기다림 하나의 팔로워가 있는 한 데이터는 손실되지 않으며, 데이터 무손실에 대해 가장 강력하게 보.. 2022. 4. 2. [Kafka] 카프카, 데이터 플랫폼의 최강자 1~3장 앞으로 하게 될 프로젝트가 이벤트 기반으로의 전환이라 카프카 스터디를 시작하게 되었다. http://www.yes24.com/Product/Goods/104722929 아파치 카프카의 모든 것 세트 - YES24 이 상품은 YES24에서 구성한 상품입니다.(낱개 반품 불가).[도서] 카프카, 데이터 플랫폼의 최강자 : 실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지데이터 플랫폼의 핵심 컴포넌트 www.yes24.com 세트로 구성된 책을 구매하였고 데이터 플랫폼 책을 먼저 끝낸 후 나머지 책을 스터디 할 예정이다. 화이팅..!! 1~3장 : 카프카 탄생 배경, 설치 방법, 장단점 4~5장 : 프로듀서와 컨슈머 6~10장 : 운영 가이드, 람다 아키텍처, 카파 아키텍처와 KSQL 등의 내.. 2022. 4. 2. [Kafka] 토픽 생성시 고려사항 카프카 토픽을 생성할 일이 생겼다! 기존에 ActiveMq만 사용해봤던 나는 이것도 금방 생성할 수 있을 거라고 믿었다... CLI 명령어를 사용해서 생성할 수도 있고, 카프카 대시보드를 활용해 생성할 수도 있다. 우리 팀은 대시보드를 활용해서 생성하고 있다. 고려사항 기본적으로 토픽 생성 시 고려해야 할 사항으로는 메시지의 크기, 예상 트래픽, 메시지 보유기간, 세그먼트 사이즈 등이 있다. 또한, 대부분의 카프카를 쓴다면 클러스터 구성으로 사용하고 있을 텐데 그렇기 때문에 예상 메시지 크기보다 훨씬 디스크를 많이 먹는다. 설정 위의 고려사항을 생각하면서 Config를 구성해보자. cleanup.policy (defalut=delete) compact나 delete 옵션 중에서 사용하게 되는데, rete.. 2022. 3. 1. 아파치 카프카(Apache Kafka) 카프카 (Kafka) 아파치 카프카(Apache Kafaka) 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. pub-sub모델 의 메세지 큐이며, 분산환경에 특화되어 설계되어 있다. 그로인해 기존의 RabbitMQ와 같은 다른 메세지 큐와의 성능 차이가 있다.(훨씬 빠르다.) 이 외에도 클러스터 구성, fail-over, replication과 같은 여러가지 특징을 가지고 있다. pub-sub 모델 : 메시지를 보내고(Publish : 발행) 받는 (Subscribe : 구독) 형태의 통신 Publisher는 메세지를 topic을 통해 카테고리화 한다. Receiver는 해당 topic을 구독(Subscribe) 함으로써 메세지를 읽어 올 수 있다. Publisher는 .. 2019. 6. 17. 이전 1 다음
