message queue

Docker container 접속docker exec -it [docker-container-name] /bin/sh 토픽 관련 콘솔# 토픽 생성$ /bin/kafka-topics \--create \--bootstrap-server : \--topic # 파티션 갯수, 복제 갯수, 토픽 데이터 유지 기간 옵션 지정 토픽 생성$ /bin/kafka-topics \--create \--bootstrap-server \--partitions 10 \--replication-factor 1 \--topic \--config retention.ms=172800000# 특정 토픽 정보 확인 (파티션 번호, 리더 브로커 번호, 복제 계수, ISR)$ /bin/kafka-topics \--bootstrap-s..

메시지 큐를 사용하는 이유  메시지 큐(Message Queue) 는 분산 시스템에서 컴포넌트 간 데이터를 교환하기 위한 통신 방법이다. 메시지 큐는 비동기 커뮤니케이션을 지원하고 시스템 간 느슨한 결합(decoupling)을 제공한다. 이는 발신자와 수신자가 서로 의존하지 않고 각각의 컴포넌트의 개발 독립성과 확장성을 보장한다. 카프카 특징높은 처리량과 낮은 지연 시간 : 카프카는 대용량 데이터를 실시간으로 처리 가능하도록 설계되어 높은 TPS와, 실시간 데이터 스트림, 로그 집계, 이벤트 드리븐 아키텍처에 적합하다.메시지 내구성 : 기본적으로 카프카는 모든 메시지를 디스크에 영구 저장된다. Redis Pub/Sub 과 RabbitMQ 는 기본적으로 메시지가 유실되며 장애시 메시지가 유실될 수 있다. ..

고전적인 메시지 큐는 단순히 메시지를 발행하고 소비하는 형태였지만 현대 메시지 큐는 EDA(Event Driven Architecture) 를 지원하기 위해 메시지를 영구 저장하여 반복 소비하는 형태로 변화하고 있다. 이와 같이 메시지를 영구 저장하는 메시지 서버를 event broker 라 부른다. 가장 대중적으로 사용하는 플랫폼으로는 kafka 이며 고전적인 Message Queue 들도 메시지를 저장, 재소비하는 방향으로 개발되고 있다. (RabbitMQ 는 메시지를 저장해 재시작할 때 메시지 유실을 방지하지만 아직은 영구 저장이 되지는 않는 것으로 알고 있다.) Message Queue 의 장점 메시지 큐의 공통적인 장점은 fan-out(팬-아웃), asynchronous processing(비..