데이터 엔지니어링/RabbitMQ
-
[RabbitMQ] RabbitMQ 설치하기(with centos7)데이터 엔지니어링/RabbitMQ 2022. 8. 23. 20:49
기본 패키지 다운로드 RabbitMQ 를 설치 하려면 eple(Extra Packages of Enterprise Linux) 설치가 필요하다. RabbitMQ는 erlang으로 작성 되어있어 erlang도 다운받아야 한다. yum -y upgrade # eple(Extra Packages of Enterprise Linux) 설치 yum install -y epel-release wget https://packages.erlang-solutions.com/erlang-solutions-1.0-1.noarch.rpm sudo rpm -Uvh erlang-solutions-1.0-1.noarch.rpm # rabbitMQ는 erlang 으로 작성되어있어 erlang 다운로드 yum install -y er..
-
[RabbitMQ] RabbitMQ와 Kafka의 차이점에 대해 알아보기, 선택 가이드라인 정하기데이터 엔지니어링/RabbitMQ 2022. 8. 23. 20:46
Kafka란? 오픈 소스 분산 이벤트 스트리밍 플랫폼. java와 scala로 작성하여 스트림처리 와 pub/sub 메세지 버스 역할 을 한다. 풀 기반 접근 방식을 이용함 더 높은 처리량과 효과적인 메시지 전달을 위해 메세지 일관 처리 활용 java언어로 작성되었으며 생태계가 넓어 사용하기 좋음 복잡한 라우팅에 의존하는 것이 아니라 이벤트 소싱, 스트림 처리 및 이벤트 시쿼스로 시스템 모델링 변경을 수행하는데 이상적 다단계 파이프라인에서 데이터 처리하는데에 적합 실시간 데이터 분석 및 스트림 처리에서 활용성이 높음 RabbitMQ 라우팅 시스템을 지원하여 복잡한 라우팅 시나리오에서 효율적으로 메시지 전달을 용이하게 하는 오픈 소스 분산 메시지 브로커 푸시 기반으로 대기열 기반 아키텍처와도 잘 작동 메세..
-
[RabbitMQ] RabbitMQ란?데이터 엔지니어링/RabbitMQ 2022. 8. 23. 20:39
RabbiMQ란? rabbitMQ는 AMQP를 따르는 오픈소스 메시지 프로커 프로젝트이다. 메시지 브로커라고 불리며, 메세지를 많은 사용자에게 전달하거나, 요청에 대한 처리 시간이 길 때, 요청을 다른 API에게 위임하고 빠른 응답을 할 때 많이 사용한다. RabbitMQ vs Kafka 대표적으로 메시지 전달 역할을 하는 것 중에 RabbitMq와 Kafka를 주로 언급이 되는데, RabbitMQ는 메시지 브로커이다. 메시지 브로커는 메시지를 전달하고 받으면 메시지를 보관하지 않고 삭제 된다. 그리고 많은 용량을 처리하지 못하지만 다양한 형태의 메시지 라우팅을 RabbitMQ 브로커 안에서 구성 할 수 있다. Kafka는 이벤트 브로커라고 하며, 메시지가 전달되었을 때 메시지를 정책 단위(30일까지보관..