분류 전체보기270 [kafka] Parallel Consumer - 파티션 증가 없이 동시 처리량 늘리기 https://d2.naver.com/helloworld/7181840 좋은 글 두고두고 읽기 2023. 10. 26. [윌슨 블레이드 v8] 테니스 라켓 겟또!!! 요즘 테니스에 재미가 아주 제대로 들렸다 ㅎㅎ 친구따라 코트 나가서 조금씩 치다가 배우고 싶은 욕심이 생겨서 아예 레슨을 끊고, 라켓까지 구매하게되었다. 윌슨 블레이드 V8 98 제품의 300g 라켓을 구매하게되었는데, 이게 또 에피소드가있다. 처음에는 롤랑가로스 V8 주황색 라켓을 너무 사고 싶었으나,, 아무리 찾아봐도 전부 품절.. 내가 돈 주고 사려해도 사지 못하는.. 그리하여 그 다음으로 알아본 라켓이 블레이드 V8 제품! 하지만? 역시나 품절.. 대략 한 달 동안이나 매일 사이트들을 찾아본 것 같다. 그러다 300g 짜리 제품을 발견하게 되었다. 어?? 300g 짜리 제품은 처음보는데?? 하여 알아봤더니 올해 새로 발매된 제품이라고 한다..!! 그래서 바로 겟또!! 자자 언박싱 갑니다. 기대하시.. 2022. 6. 15. [Kafka] 카프카, 데이터 플랫폼의 최강자 6~10장 6. 카프카 운영 가이드 6.1 카프카 명령어 (우리팀은 대쉬보드로 관리하기 때문에 간단하게만 정리) kafka-topic.sh // 카프카 생성, 토픽 정보 확인 kafka-config.sh // 카프카 설정 변경 kafka-consumer-groups.sh // 컨슈머 그룹 리스트, 상태와 오프셋 확인 운영중인 카프카의 디스크 공간을 확보하는 가장 좋은 방법 디스크 공간을 가장 많이 차지하는 토픽의 보관 주기를 줄여주는 것 리플리케이션 팩터 변경시 리더 정보가 변경되면 안됨 LAG이 계속 증가하는 상황 컨슈머 처리가 늦어지고있다. 컨슈머 or 파티션 수를 늘려서 대응을 해야 한다. 특정 파티션에서만 LAG이 증가한다면 해당 파티션에 연결된 컨슈머를 확인 해야 한다. 6.2 주키퍼 스케일 아웃 주키퍼 .. 2022. 4. 2. [Kafka] 카프카, 데이터 플랫폼의 최강자 4~5장 4장 카프카 프로듀서 4.4 프로듀서 주요 옵션 bootstrap.servers (호스트 리스트 정보) 카프카 클러스터는 마스터 개념이 없기 때문에 모든 서버가 클라이언트의 요청을 받을 수 있다. acks옵션의 수가 작으면 성능이 좋지만, 메시지 손실 가능성이 있고, 수가 크면 반대 acks=0 설정시 프로듀서가 서버로부터 어떠한 ack도 기다리지 않기 때문에 데이터를 받았는지 보장 x, 전송 실패 결과 알 수 없어서 재요청 불가, 대신 매우 빠름 ack=1 데이터는 기록하지만, 모든 팔로워는 확인하지 않는다. 일부 데이터 손실 가능성 ack=all or -1 리더가 ISR 팔로워부터 데이터에 대한 ack를 기다림 하나의 팔로워가 있는 한 데이터는 손실되지 않으며, 데이터 무손실에 대해 가장 강력하게 보.. 2022. 4. 2. [Kafka] 카프카, 데이터 플랫폼의 최강자 1~3장 앞으로 하게 될 프로젝트가 이벤트 기반으로의 전환이라 카프카 스터디를 시작하게 되었다. http://www.yes24.com/Product/Goods/104722929 아파치 카프카의 모든 것 세트 - YES24 이 상품은 YES24에서 구성한 상품입니다.(낱개 반품 불가).[도서] 카프카, 데이터 플랫폼의 최강자 : 실시간 비동기 스트리밍 솔루션 Kafka의 기본부터 확장 응용까지데이터 플랫폼의 핵심 컴포넌트 www.yes24.com 세트로 구성된 책을 구매하였고 데이터 플랫폼 책을 먼저 끝낸 후 나머지 책을 스터디 할 예정이다. 화이팅..!! 1~3장 : 카프카 탄생 배경, 설치 방법, 장단점 4~5장 : 프로듀서와 컨슈머 6~10장 : 운영 가이드, 람다 아키텍처, 카파 아키텍처와 KSQL 등의 내.. 2022. 4. 2. [Spring WebFlux] Hot vs Cold webflux 역시 간단한 개념정도만 알고있고, 실제로 고민해서 써본적은 없었었다. 앞으로 restTemplate이 Deprecated 됨에 따라서 우리팀은 WebClient를 사용하는데, 이때 약간의 해프닝이 있었다. 역시 책으로 보는것은 한계가 있다는 사실을 다시 한 번 느끼게 해주는 계기였다. Spring Webflux? 설명하기에 앞서 스프링 웹플럭스는 왜 만들어졌을까?? 적은 수의 쓰레드와 보다 적은 하드웨어 자원으로 동시성을 처리하기 위해서이다. 즉, 극한의 효율 보다 이러한 세밀한 처리가 필요한 이유는 아무래도 페이스북이나 유튜브처럼 대량의 트래픽을 처리해야하는 서비스가 늘고있기 때문이다. 서블릿 3.1에서도 이미 N-I/O를 다루기 위한 API를 제공하지만, 논블로킹을 구현하려면 다른 동기.. 2022. 3. 18. 이전 1 2 3 4 ··· 45 다음
