New
-
[kafka] Parallel Consumer - 파티션 증가 없이 동시 처리량 늘리기
https://d2.naver.com/helloworld/7181840 좋은 글 두고두고 읽기
2023.10.26
-
[윌슨 블레이드 v8] 테니스 라켓 겟또!!!
요즘 테니스에 재미가 아주 제대로 들렸다 ㅎㅎ 친구따라 코트 나가서 조금씩 치다가 배우고 싶은 욕심이 생겨서 아예 레슨을 끊고, 라켓까지 구매하게되었다. 윌슨 블레이드 V8 98 제품의 300g 라켓을 구매하게되었는데, 이게 또 에피소드가있다. 처음에는 롤랑가로스 V8 주황색 라켓을 너무 사고 싶었으나,, 아무리 찾아봐도 전부 품절.. 내가 돈 주고 사려해도 사지 못하는.. 그리하여 그 다음으로 알아본 라켓이 블레이드 V8 제품! 하지만? 역시나 품절.. 대략 한 달 동안이나 매일 사이트들을 찾아본 것 같다. 그러다 300g 짜리 제품을 발견하게 되었다. 어?? 300g 짜리 제품은 처음보는데?? 하여 알아봤더니 올해 새로 발매된 제품이라고 한다..!! 그래서 바로 겟또!! 자자 언박싱 갑니다. 기대하시..
2022.06.15
-
[Kafka] 카프카, 데이터 플랫폼의 최강자 6~10장
6. 카프카 운영 가이드 6.1 카프카 명령어 (우리팀은 대쉬보드로 관리하기 때문에 간단하게만 정리) kafka-topic.sh // 카프카 생성, 토픽 정보 확인 kafka-config.sh // 카프카 설정 변경 kafka-consumer-groups.sh // 컨슈머 그룹 리스트, 상태와 오프셋 확인 운영중인 카프카의 디스크 공간을 확보하는 가장 좋은 방법 디스크 공간을 가장 많이 차지하는 토픽의 보관 주기를 줄여주는 것 리플리케이션 팩터 변경시 리더 정보가 변경되면 안됨 LAG이 계속 증가하는 상황 컨슈머 처리가 늦어지고있다. 컨슈머 or 파티션 수를 늘려서 대응을 해야 한다. 특정 파티션에서만 LAG이 증가한다면 해당 파티션에 연결된 컨슈머를 확인 해야 한다. 6.2 주키퍼 스케일 아웃 주키퍼 ..
2022.04.02
-
[Kafka] 카프카, 데이터 플랫폼의 최강자 4~5장
4장 카프카 프로듀서 4.4 프로듀서 주요 옵션 bootstrap.servers (호스트 리스트 정보) 카프카 클러스터는 마스터 개념이 없기 때문에 모든 서버가 클라이언트의 요청을 받을 수 있다. acks옵션의 수가 작으면 성능이 좋지만, 메시지 손실 가능성이 있고, 수가 크면 반대 acks=0 설정시 프로듀서가 서버로부터 어떠한 ack도 기다리지 않기 때문에 데이터를 받았는지 보장 x, 전송 실패 결과 알 수 없어서 재요청 불가, 대신 매우 빠름 ack=1 데이터는 기록하지만, 모든 팔로워는 확인하지 않는다. 일부 데이터 손실 가능성 ack=all or -1 리더가 ISR 팔로워부터 데이터에 대한 ack를 기다림 하나의 팔로워가 있는 한 데이터는 손실되지 않으며, 데이터 무손실에 대해 가장 강력하게 보..
2022.04.02
-
[Kafka] 카프카, 데이터 플랫폼의 최강자 1~3장
앞으로 하게 될 프로젝트가 이벤트 기반으로의 전환이라 카프카 스터디를 시작하게 되었다. http://www.yes24.com/Product/Goods/104722929 아파치 카프카의 모든 것 세트 - YES24 이 상품은 YES24에서 구성한 상품입니다.(낱개 반품 불가).[도서] 카프카, 데이터 플랫폼의 최강자 : 실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지데이터 플랫폼의 핵심 컴포넌트 www.yes24.com 세트로 구성된 책을 구매하였고 데이터 플랫폼 책을 먼저 끝낸 후 나머지 책을 스터디 할 예정이다. 화이팅..!! 1~3장 : 카프카 탄생 배경, 설치 방법, 장단점 4~5장 : 프로듀서와 컨슈머 6~10장 : 운영 가이드, 람다 아키텍처, 카파 아키텍처와 KSQL 등의 내..
2022.04.02
