Centos7.9安装RabbitMQ

如此这般 / 2024-09-20 / 原文

一、MQ相关的概念

RabbitMQ 是一种分布式消息中间件,消息中间件也称消息队列MQ,那么什么是MQ呢?

1.1、MQ的基本概念

什么是MQ

MQ(message queue),从字面意思上看就个 FIFO 先入先出的队列,只不过队列中存放的内容是 message 而已,它是一种具有接收数据、存储数据、发送数据等功能的技术服务。

在互联网架构中,MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务,用于上下游传递消息。使用了 MQ 之后,消息发送上游只需要依赖 MQ,不用依赖其他服务

为啥要用MQ

常见的MQ消息中间件有很多,例如ActiveMQRabbitMQKafkaRocketMQ等等。那么为什么我们要使用它呢?因为它能很好的帮我解决一些复杂特殊的场景:

1️⃣ 高并发的流量削峰

​ 举个例子,假设某订单系统每秒最多能处理一万次订单,也就是最多承受的10000qps,这个处理能力应付正常时段的下单时绰绰有余,正常时段我们下单一秒后就能返回结果。但是在高峰期,如果有两万次下单操作系统是处理不了的,只能限制订单超过一万后不允许用户下单。使用消息队列做缓冲,我们可以取消这个限制,把一秒内下的订单分散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体验要好。

2️⃣ 应用解耦

​ 以电商应用为例,应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障,都会造成下单操作异常。当转变成基于消息队列的方式后,系统间调用的问题会减少很多,比如物流系统因为发生故障,需要几分钟来修复。在这几分钟的时间里,物流系统要处理的内存被缓存在消息队列中,用户的下单操作可以正常完成。当物流系统恢复后,继续处理订单信息即可,中单用户感受不到物流系统的故障,提升系统的可用性。

3️⃣ 异步处理

​ 有些服务间调用是异步的,例如 A 调用 B,B 需要花费很长时间执行,但是 A 需要知道 B 什么时候可以执行完,以前一般有两种方式,A 过一段时间去调用 B 的查询 api 查询。或者 A 提供一个 callback api, B 执行完之后调用 api 通知 A 服务。这两种方式都不是很优雅,使用消息队列,可以很方便解决这个问题,A 调用 B 服务后,只需要监听 B 处理完成的消息,当 B 处理完成后,会发送一条消息给 MQ,MQ 会将此消息转发给 A 服务。这样 A 服务既不用循环调用 B 的查询 api,也不用提供 callback api。同样B 服务也不用做这些操作。A 服务还能及时的得到异步处理成功的消息。

4️⃣ 分布式事务

​ 以订单服务为例,传统的方式为单体应用,支付、修改订单状态、创建物流订单三个步骤集成在一个服务中,因此这三个步骤可以放在一个jdbc事务中,要么全成功,要么全失败。而在微服务的环境下,会将三个步骤拆分成三个服务,例如:支付服务,订单服务,物流服务。三者各司其职,相互之间进行服务间调用,但这会带来分布式事务的问题,因为三个步骤操作的不是同一个数据库,导致无法使用jdbc事务管理以达到一致性。而 MQ 能够很好的帮我们解决分布式事务的问题,有一个比较容易理解的方案,就是二次提交。基于MQ的特点,MQ作为二次提交的中间节点,负责存储请求数据,在失败的情况可以进行多次尝试,或者基于MQ中的队列数据进行回滚操作,是一个既能保证性能,又能保证业务一致性的方案,如下图所示

5️⃣ 数据分发

​ MQ 具有发布订阅机制,不仅仅是简单的上游和下游一对一的关系,还有支持一对多或者广播的模式,并且都可以根据规则选择分发的对象。这样一份上游数据,众多下游系统中,可以根据规则选择是否接收这些数据,能达到很高的拓展性。

常用的MQ

1️⃣ ActiveMQ

  • 优点:单机吞吐量万级,时效性 ms 级,可用性高,基于主从架构实现高可用性,消息可靠性较低的概率丢失数据
  • 缺点:官方社区现在对 ActiveMQ 5.x 维护越来越少,高吞吐量场景较少使用

2️⃣ Kafka

​ 大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开 Kafka,这款为大数据而生的消息中间件,以其百万级 TPS 的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用。目前已经被 LinkedIn,Uber, Twitter, Netflix 等大公司所采纳。

  • 优点:性能卓越,吞吐量高,单机写入 TPS 约在百万条/秒,时效性 ms 级,可用性非常高;其次 kafka 是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据导致服务不可用,消费者采用 Pull 方式获取消息,消息有序,通过控制能够保证所有消息被消费且仅被消费一次。此外 kafka 有优秀的第三方 Kafka Web 管理界面 Kafka-Manager,在日志领域比较成熟,被多家公司和多个开源项目使用;最后 kafka 在功能支持方便面它功能较为简单,主要支持简单的 MQ 功能,在大数据领域的实时计算以及日志采集被大规模使用。

  • 缺点:Kafka 单机超过 64 个队列/分区,Load 会发生明显的飙高现象,队列越多,load 越高,发送消息响应时间变长,使用短轮询方式,实时性取决于轮询间隔时间,消费失败不支持重试;支持消息顺序,但是一台代理宕机后,就会产生消息乱序,社区更新较慢

  • 选用场景:Kafka 主要特点是基于Pull 的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,适合产生大量数据的互联网服务的数据收集业务。大型公司建议可以选用,如果有日志采集功能,肯定是首选 kafka 了。

3️⃣ RocketMQ

RocketMQ 出自阿里巴巴的开源产品,用 Java 语言实现,在设计时参考了 Kafka,并做出了自己的一些改进。被阿里巴巴广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理,binglog 分发等场景。

  • 优点单机吞吐量十万级,可用性非常高,采用分布式架构,消息可以做到 0 丢失,MQ 功能较为完善,扩展性好,支持 10 亿级别的消息堆积,不会因为堆积导致性能下降,采用 java 语言实现。
  • 缺点支持的客户端语言不多,目前是 java 及 c++,其中 c++不成熟;社区活跃度一般,没有在MQ核心中去实现 JMS 等接口,有些系统要迁移需要修改大量代码。
  • 选用场景:天生为金融互联网领域而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。RoketMQ 在稳定性上可能更值得信赖,这些业务场景在阿里双 11 已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择 RocketMQ。

4️⃣ RabbitMQ

2007 年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一

  • 优点:由于 erlang 语言的高并发特性,性能较好;吞吐量到万级,MQ 功能比较完备、健壮、稳定、易用、跨平台、支持多种语言如Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持 AJAX 文档齐全;开源提供的管理界面非常棒,用起来很好用,社区活跃度高;更新频率相当高。
  • 缺点:商业版需要收费,学习成本较高。
  • 选用场景:结合 erlang 语言本身的并发优势,性能好时效性微秒级社区活跃度也比较高,管理界面用起来十分方便,如果你的数据量没有那么大,中小型公司优先选择功能比较完备的 RabbitMQ。

三、RabbitMQ快速入门

3.1、RabbitMQ的概念

RabbitMQ 是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点,当你要发送一个包裹时,你把你的包裹放到快递站,快递员最终会把你的快递送到收件人那里,按照这种逻辑 RabbitMQ 是一个快递站,一个快递员帮你传递快件。RabbitMQ 与快递站的主要区别在于:它不处理快件而是接收,存储和转发消息数据。


3.2、AMQP协议

RabbitMQ是一种遵循AMQP协议的分布式消息中间件。AMQP 全称 “Advanced Message Queuing Protocol”,高级消息队列协议。它是应用层协议的一个开发标准,为面向消息的中间件设计。

下图是采用 AMQP 协议的生产者和消费者建立和释放连接的流程图:

3.3、RabbitMQ架构组成

  • Broker:就是 RabbitMQ 服务,用于接收和分发消息,接受客户端的连接,实现 AMQP 实体服务。
  • Virtual host:出于多租户和安全因素设计的,把 AMQP 的基本组件划分到一个虚拟的分组中,类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时,可以划分出多个 vhost,每个用户在自己的 vhost 创建 exchange 或 queue 等。
  • Connection:连接,生产者/消费者与 Broker 之间的 TCP 网络连接。
  • Channel:网络信道,如果每一次访问 RabbitMQ 都建立一个 Connection,在消息量大的时候建立连接的开销将是巨大的,效率也较低。Channel 是在 connection 内部建立的逻辑连接,如果应用程序支持多线程,通常每个 thread 创建单独的 channel 进行通讯,AMQP method 包含了 channel id 帮助客户端和 message broker 识别 channel,所以 channel 之间是完全隔离的。Channel 作为轻量级的Connection 极大减少了操作系统建立 TCP connection 的开销
  • Message:消息,服务与应用程序之间传送的数据,由Properties和body组成,Properties可是对消息进行修饰,比如消息的优先级,延迟等高级特性,Body则就是消息体的内容。
  • Virtual Host:虚拟节点,用于进行逻辑隔离,最上层的消息路由,一个虚拟主机理由可以有若干个Exhange和Queue,同一个虚拟主机里面不能有相同名字的Exchange
  • Exchange:交换机,是 message 到达 broker 的第一站,用于根据分发规则、匹配查询表中的 routing key,分发消息到 queue 中去,不具备消息存储的功能。常用的类型有:direct、topic、fanout。
  • Bindings:exchange 和 queue 之间的虚拟连接,binding 中可以包含 routing key,Binding 信息被保存到 exchange 中的查询表中,用于 message 的分发依据。
  • Routing key:是一个路由规则,虚拟机可以用它来确定如何路由一个特定消息
  • Queue:消息队列,保存消息并将它们转发给消费者进行消费。

3.4、四大核心概念

  • 生产者:产生数据发送消息的程序是生产者。
  • 交换机:交换机是 RabbitMQ 非常重要的一个部件,一方面它接收来自生产者的消息,另一方面它将消息推送到队列中。交换机必须确切知道如何处理它接收到的消息,是将这些消息推送到特定队列还是推送到多个队列,亦或者是把消息丢弃,这个是由交换机类型决定的。
  • 队列:队列是 RabbitMQ 内部使用的一种数据结构,尽管消息流经 RabbitMQ 和应用程序,但它们只能存储在队列中。队列仅受主机的内存和磁盘限制的约束,本质上是一个大的消息缓冲区。许多生产者可以将消息发送到一个队列,许多消费者可以尝试从一个队列接收数据。
  • 消费者:消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者,消费者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又是可以是消费者

RabbitMQ安装

配置详情

centos7.9 192.168.8.180 rabbitmq1
centos7.9 192.168.8.177 rabbitmq2
centos7.9 192.168.8.178 rabbitmq3

端口

5672
15672
25672
4369

1、修改主机名所有节点

#192.168.8.180
[root@localhost ~]# hostnamectl set-hostname rabbitmq1
[root@rabbitmq1 ~]# bash

#192.168.8.177
[root@localhost ~]# hostnamectl set-hostname rabbitmq2
[root@rabbitmq2 ~]# bash

#192.168.8.178
[root@localhost ~]# hostnamectl set-hostname rabbitmq3
[root@rabbitmq3 ~]# bash

2、修改所有节点hosts文件

#192.168.8.180
[root@rabbitmq1 ~]# vim /etc/hosts
192.168.8.180 rabbitmq1
192.168.8.177 rabbitmq2
192.168.8.178 rabbitmq3

#192.168.8.177
[root@rabbitmq2 ~]# vim /etc/hosts
192.168.8.180 rabbitmq1
192.168.8.177 rabbitmq2
192.168.8.178 rabbitmq3

#192.168.8.178
[root@rabbitmq3 ~]# vim /etc/hosts
192.168.8.180 rabbitmq1
192.168.8.177 rabbitmq2
192.168.8.178 rabbitmq3

3、关闭防火墙和内核

(所有机器)

#关防火墙
[root@rabbitmq1 ~]# systemctl stop firewalld.service
[root@rabbitmq1 ~]# systemctl disable firewalld.service
#关内核
[root@rabbitmq1 ~]# setenforce 0
[root@rabbitmq1 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config

4、安装erlang依赖包

(所有机器)

[root@rabbitmq1 ~]# yum install -y socat

5、安装erlang、rabbitmq

通过网盘分享的文件:RabbitMQ
链接: https://pan.baidu.com/s/1icl-IRGP9ZUv0bne7s0QPw?pwd=1234 提取码: 1234

(所有机器)

#将包上传至服务器  erlang-23.3.2-1.el7.x86_64.rpm  rabbitmq-server-3.8.14-1.el7.noarch.rpm

[root@rabbitmq1 ~]# rpm -ivh erlang-23.3.2-1.el7.x86_64.rpm
[root@rabbitmq1 ~]# rpm -ivh rabbitmq-server-3.8.14-1.el7.noarch.rpm

6、启动、关闭、重启、开机自启rabbitmq

[root@rabbitmq1 ~]# systemctl start rabbitmq-server        #启动
[root@rabbitmq1 ~]# systemctl stop rabbitmq-server         #关闭
[root@rabbitmq1 ~]# systemctl restart rabbitmq-server      #重启
[root@rabbitmq1 ~]# systemctl enable rabbitmq-server       #开机自启
[root@rabbitmq1 ~]# systemctl status rabbitmq-server       #查看状态

7、将配置文件复制到另外两台机器相同目录下

#192.168.8.180
[root@rabbitmq1 ~]# scp /var/lib/rabbitmq/.erlang.cookie 192.168.8.177:/var/lib/rabbitmq/

[root@rabbitmq1 ~]# scp /var/lib/rabbitmq/.erlang.cookie 192.168.8.178:/var/lib/rabbitmq/

8、将另外两台加入到8.180里

注意加入集群时,当前机器需要关闭 “节点应用”

#192.168.8.177
[root@rabbitmq2 ~]# rabbitmqctl stop_app
[root@rabbitmq2 ~]# rabbitmqctl join_cluster rabbit@rabbitmq1
                                             #@后面一定要跟主机名,不要跟IP。。。。。。。。。。。。。。。。。
                                             
[root@rabbitmq2 ~]# rabbitmqctl start_app

#192.168.8.178
[root@rabbitmq2 ~]# rabbitmqctl stop_app
[root@rabbitmq2 ~]# rabbitmqctl join_cluster rabbit@rabbitmq1
                                             #@后面一定要跟主机名,不要跟IP。。。。。。。。。。。。。。。。。
                                             
[root@rabbitmq2 ~]# rabbitmqctl start_app

9、启动web管理插件,所有机器都要启动

#192.168.8.180
[root@rabbitmq1]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@rabbitmq1:
rabbitmq_management
The following plugins have been configured:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch
Applying plugin configuration to rabbit@rabbitmq1...
The following plugins have been enabled:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch

started 3 plugins.

#192.168.8.177
[root@rabbitmq2]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@rabbitmq2:
rabbitmq_management
The following plugins have been configured:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch
Applying plugin configuration to rabbit@rabbitmq2...
The following plugins have been enabled:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch

started 3 plugins.

#192.168.8.178
[root@rabbitmq3]# rabbitmq-plugins enable rabbitmq_management
Clustering node rabbit@rabbitmq3 with rabbit@rabbitmq1
[root@rabbitmq3 ~]# rabbitmqctl start_app
Starting node rabbit@rabbitmq3 ...
[root@rabbitmq3 ~]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@rabbitmq3:
rabbitmq_management
The following plugins have been configured:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch
Applying plugin configuration to rabbit@rabbitmq3...
The following plugins have been enabled:
  rabbitmq_management
  rabbitmq_management_agent
  rabbitmq_web_dispatch

started 3 plugins.

10、访问http://192.168.8.180:15672/#/

rabbitmq有个默认用户guest,密码也为guest,但是这个用户不允许远程登录,登录会报错的 User can only log in via localhost

解决方法:

可以使用命令行新增一个用户,用新用户登录

#在 RabbitMQ 中创建一个名为 "admin" 的用户,并为该用户设置密码为 "admin123"
rabbitmqctl add_user admin admin123

#这个命令用于设置用户的权限。在这个命令中,"-p /" 表示设置权限的路径为根路径。然后,"admin"." "." ".*" 表示为用户 "admin" 设置了三个权限参数,分别为配置、写入和读取权限。这意味着用户 "admin" 对所有的虚拟主机、所有的队列和所有的交换机都具有配置、写入和读取的权限
rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"

# 这个命令用于为用户分配标签。在这里,命令为用户 "admin" 分配了 "administrator" 标签。管理员标签(administrator)赋予了用户更高级的权限,允许其执行管理操作,例如创建、删除队列、交换机,查看集群状态等
rabbitmqctl set_user_tags admin administrator

正常情况下,三个机器都可以访问的,这里就不多截图了

附:账号管理操作

#添加账户
[root@rabbitmq2 ~]# rabbitmqctl add_user admin aaa

#查看当前用户列表
[root@rabbitmq2 ~]# rabbitmqctl list_users
Listing users ...
user	tags
admin	[administrator]
guest	[administrator]
[root@rabbitmq2 ~]# 

#查看用户权限
[root@rabbitmq2 ~]# rabbitmqctl list_user_permissions admin
Listing permissions for user "admin" ...
vhost	configure	write	read
/	.*	.*	.*
[root@rabbitmq2 ~]# 

#更改用户密码


#删除用户
[root@rabbitmq2 ~]# rabbitmqctl delete_user aaa
Deleting user "aaa" ...
[root@rabbitmq2 ~]#