Centos7.9安装RabbitMQ
一、MQ相关的概念
RabbitMQ 是一种分布式消息中间件,消息中间件也称消息队列MQ,那么什么是MQ呢?
1.1、MQ的基本概念
什么是MQ
MQ
(message queue),从字面意思上看就个 FIFO 先入先出的队列,只不过队列中存放的内容是 message 而已,它是一种具有接收数据、存储数据、发送数据等功能的技术服务。
在互联网架构中,MQ 是一种非常常见的上下游“逻辑解耦+物理解耦”的消息通信服务,用于上下游传递消息。使用了 MQ 之后,消息发送上游只需要依赖 MQ,不用依赖其他服务
为啥要用MQ
常见的MQ消息中间件有很多,例如ActiveMQ
、RabbitMQ
、Kafka
、RocketMQ
等等。那么为什么我们要使用它呢?因为它能很好的帮我解决一些复杂特殊的场景:
1️⃣ 高并发的流量削峰
举个例子,假设某订单系统每秒最多能处理一万次订单,也就是最多承受的10000qps,这个处理能力应付正常时段的下单时绰绰有余,正常时段我们下单一秒后就能返回结果。但是在高峰期,如果有两万次下单操作系统是处理不了的,只能限制订单超过一万后不允许用户下单。使用消息队列做缓冲,我们可以取消这个限制,把一秒内下的订单分散成一段时间来处理,这时有些用户可能在下单十几秒后才能收到下单成功的操作,但是比不能下单的体验要好。
2️⃣ 应用解耦
以电商应用为例,应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后,如果耦合调用库存系统、物流系统、支付系统,任何一个子系统出了故障,都会造成下单操作异常。当转变成基于消息队列的方式后,系统间调用的问题会减少很多,比如物流系统因为发生故障,需要几分钟来修复。在这几分钟的时间里,物流系统要处理的内存被缓存在消息队列中,用户的下单操作可以正常完成。当物流系统恢复后,继续处理订单信息即可,中单用户感受不到物流系统的故障,提升系统的可用性。
3️⃣ 异步处理
有些服务间调用是异步的,例如 A 调用 B,B 需要花费很长时间执行,但是 A 需要知道 B 什么时候可以执行完,以前一般有两种方式,A 过一段时间去调用 B 的查询 api 查询。或者 A 提供一个 callback api, B 执行完之后调用 api 通知 A 服务。这两种方式都不是很优雅,使用消息队列,可以很方便解决这个问题,A 调用 B 服务后,只需要监听 B 处理完成的消息,当 B 处理完成后,会发送一条消息给 MQ,MQ 会将此消息转发给 A 服务。这样 A 服务既不用循环调用 B 的查询 api,也不用提供 callback api。同样B 服务也不用做这些操作。A 服务还能及时的得到异步处理成功的消息。
4️⃣ 分布式事务
以订单服务为例,传统的方式为单体应用,支付、修改订单状态、创建物流订单三个步骤集成在一个服务中,因此这三个步骤可以放在一个jdbc事务中,要么全成功,要么全失败。而在微服务的环境下,会将三个步骤拆分成三个服务,例如:支付服务,订单服务,物流服务。三者各司其职,相互之间进行服务间调用,但这会带来分布式事务的问题,因为三个步骤操作的不是同一个数据库,导致无法使用jdbc事务管理以达到一致性。而 MQ 能够很好的帮我们解决分布式事务的问题,有一个比较容易理解的方案,就是二次提交。基于MQ的特点,MQ作为二次提交的中间节点,负责存储请求数据,在失败的情况可以进行多次尝试,或者基于MQ中的队列数据进行回滚操作,是一个既能保证性能,又能保证业务一致性的方案,如下图所示
5️⃣ 数据分发
MQ 具有发布订阅机制,不仅仅是简单的上游和下游一对一的关系,还有支持一对多或者广播的模式,并且都可以根据规则选择分发的对象。这样一份上游数据,众多下游系统中,可以根据规则选择是否接收这些数据,能达到很高的拓展性。
常用的MQ
1️⃣ ActiveMQ
优点
:单机吞吐量万级,时效性 ms 级,可用性高,基于主从架构实现高可用性,消息可靠性较低的概率丢失数据缺点
:官方社区现在对 ActiveMQ 5.x 维护越来越少,高吞吐量场景较少使用。
2️⃣ Kafka
大数据的杀手锏,谈到大数据领域内的消息传输,则绕不开 Kafka,这款为大数据而生的消息中间件,以其百万级 TPS 的吞吐量名声大噪,迅速成为大数据领域的宠儿,在数据采集、传输、存储的过程中发挥着举足轻重的作用。目前已经被 LinkedIn,Uber, Twitter, Netflix 等大公司所采纳。
-
优点
:性能卓越,吞吐量高,单机写入 TPS 约在百万条/秒,时效性 ms 级,可用性非常高;其次 kafka 是分布式的,一个数据多个副本,少数机器宕机,不会丢失数据导致服务不可用,消费者采用 Pull 方式获取消息,消息有序,通过控制能够保证所有消息被消费且仅被消费一次。此外 kafka 有优秀的第三方 Kafka Web 管理界面 Kafka-Manager,在日志领域比较成熟,被多家公司和多个开源项目使用;最后 kafka 在功能支持方便面它功能较为简单,主要支持简单的 MQ 功能,在大数据领域的实时计算以及日志采集被大规模使用。 -
缺点
:Kafka 单机超过 64 个队列/分区,Load 会发生明显的飙高现象,队列越多,load 越高,发送消息响应时间变长,使用短轮询方式,实时性取决于轮询间隔时间,消费失败不支持重试;支持消息顺序,但是一台代理宕机后,就会产生消息乱序,社区更新较慢; -
选用场景
:Kafka 主要特点是基于Pull 的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输,适合产生大量数据的互联网服务的数据收集业务。大型公司建议可以选用,如果有日志采集功能,肯定是首选 kafka 了。
3️⃣ RocketMQ
RocketMQ 出自阿里巴巴的开源产品,用 Java 语言实现,在设计时参考了 Kafka,并做出了自己的一些改进。被阿里巴巴广泛应用在订单,交易,充值,流计算,消息推送,日志流式处理,binglog 分发等场景。
优点
:单机吞吐量十万级,可用性非常高,采用分布式架构,消息可以做到 0 丢失,MQ 功能较为完善,扩展性好,支持 10 亿级别的消息堆积,不会因为堆积导致性能下降,采用 java 语言实现。缺点
:支持的客户端语言不多,目前是 java 及 c++,其中 c++不成熟;社区活跃度一般,没有在MQ核心中去实现 JMS 等接口,有些系统要迁移需要修改大量代码。选用场景
:天生为金融互联网领域而生,对于可靠性要求很高的场景,尤其是电商里面的订单扣款,以及业务削峰,在大量交易涌入时,后端可能无法及时处理的情况。RoketMQ 在稳定性上可能更值得信赖,这些业务场景在阿里双 11 已经经历了多次考验,如果你的业务有上述并发场景,建议可以选择 RocketMQ。
4️⃣ RabbitMQ
2007 年发布,是一个在AMQP(高级消息队列协议)基础上完成的,可复用的企业消息系统,是当前最主流的消息中间件之一。
优点
:由于 erlang 语言的高并发特性,性能较好;吞吐量到万级,MQ 功能比较完备、健壮、稳定、易用、跨平台、支持多种语言如Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等,支持 AJAX 文档齐全;开源提供的管理界面非常棒,用起来很好用,社区活跃度高;更新频率相当高。缺点
:商业版需要收费,学习成本较高。选用场景
:结合 erlang 语言本身的并发优势,性能好时效性微秒级,社区活跃度也比较高,管理界面用起来十分方便,如果你的数据量没有那么大,中小型公司优先选择功能比较完备的 RabbitMQ。
三、RabbitMQ快速入门
3.1、RabbitMQ的概念
RabbitMQ 是一个消息中间件:它接受并转发消息。你可以把它当做一个快递站点,当你要发送一个包裹时,你把你的包裹放到快递站,快递员最终会把你的快递送到收件人那里,按照这种逻辑 RabbitMQ 是一个快递站,一个快递员帮你传递快件。RabbitMQ 与快递站的主要区别在于:它不处理快件而是接收,存储和转发消息数据。
3.2、AMQP协议
RabbitMQ是一种遵循AMQP
协议的分布式消息中间件。AMQP
全称 “Advanced Message Queuing Protocol”,高级消息队列协议。它是应用层协议的一个开发标准,为面向消息的中间件设计。
下图是采用 AMQP 协议的生产者和消费者建立和释放连接的流程图:
3.3、RabbitMQ架构组成
Broker
:就是 RabbitMQ 服务,用于接收和分发消息,接受客户端的连接,实现 AMQP 实体服务。Virtual host
:出于多租户和安全因素设计的,把 AMQP 的基本组件划分到一个虚拟的分组中,类似于网络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时,可以划分出多个 vhost,每个用户在自己的 vhost 创建 exchange 或 queue 等。Connection
:连接,生产者/消费者与 Broker 之间的 TCP 网络连接。Channel
:网络信道,如果每一次访问 RabbitMQ 都建立一个 Connection,在消息量大的时候建立连接的开销将是巨大的,效率也较低。Channel 是在 connection 内部建立的逻辑连接,如果应用程序支持多线程,通常每个 thread 创建单独的 channel 进行通讯,AMQP method 包含了 channel id 帮助客户端和 message broker 识别 channel,所以 channel 之间是完全隔离的。Channel 作为轻量级的Connection 极大减少了操作系统建立 TCP connection 的开销。Message
:消息,服务与应用程序之间传送的数据,由Properties和body组成,Properties可是对消息进行修饰,比如消息的优先级,延迟等高级特性,Body则就是消息体的内容。Virtual Host
:虚拟节点,用于进行逻辑隔离,最上层的消息路由,一个虚拟主机理由可以有若干个Exhange和Queue,同一个虚拟主机里面不能有相同名字的ExchangeExchange
:交换机,是 message 到达 broker 的第一站,用于根据分发规则、匹配查询表中的 routing key,分发消息到 queue 中去,不具备消息存储的功能。常用的类型有:direct、topic、fanout。Bindings
:exchange 和 queue 之间的虚拟连接,binding 中可以包含 routing key,Binding 信息被保存到 exchange 中的查询表中,用于 message 的分发依据。Routing key
:是一个路由规则,虚拟机可以用它来确定如何路由一个特定消息Queue
:消息队列,保存消息并将它们转发给消费者进行消费。
3.4、四大核心概念
- 生产者:产生数据发送消息的程序是生产者。
- 交换机:交换机是 RabbitMQ 非常重要的一个部件,一方面它接收来自生产者的消息,另一方面它将消息推送到队列中。交换机必须确切知道如何处理它接收到的消息,是将这些消息推送到特定队列还是推送到多个队列,亦或者是把消息丢弃,这个是由交换机类型决定的。
- 队列:队列是 RabbitMQ 内部使用的一种数据结构,尽管消息流经 RabbitMQ 和应用程序,但它们只能存储在队列中。队列仅受主机的内存和磁盘限制的约束,本质上是一个大的消息缓冲区。许多生产者可以将消息发送到一个队列,许多消费者可以尝试从一个队列接收数据。
- 消费者:消费与接收具有相似的含义。消费者大多时候是一个等待接收消息的程序。请注意生产者,消费者和消息中间件很多时候并不在同一机器上。同一个应用程序既可以是生产者又是可以是消费者
RabbitMQ安装
配置详情
centos7.9 | 192.168.8.180 | rabbitmq1 |
---|---|---|
centos7.9 | 192.168.8.177 | rabbitmq2 |
centos7.9 | 192.168.8.178 | rabbitmq3 |
端口
5672 |
---|
15672 |
25672 |
4369 |
1、修改主机名所有节点
#192.168.8.180
[root@localhost ~]# hostnamectl set-hostname rabbitmq1
[root@rabbitmq1 ~]# bash
#192.168.8.177
[root@localhost ~]# hostnamectl set-hostname rabbitmq2
[root@rabbitmq2 ~]# bash
#192.168.8.178
[root@localhost ~]# hostnamectl set-hostname rabbitmq3
[root@rabbitmq3 ~]# bash
2、修改所有节点hosts文件
#192.168.8.180
[root@rabbitmq1 ~]# vim /etc/hosts
192.168.8.180 rabbitmq1
192.168.8.177 rabbitmq2
192.168.8.178 rabbitmq3
#192.168.8.177
[root@rabbitmq2 ~]# vim /etc/hosts
192.168.8.180 rabbitmq1
192.168.8.177 rabbitmq2
192.168.8.178 rabbitmq3
#192.168.8.178
[root@rabbitmq3 ~]# vim /etc/hosts
192.168.8.180 rabbitmq1
192.168.8.177 rabbitmq2
192.168.8.178 rabbitmq3
3、关闭防火墙和内核
(所有机器)
#关防火墙
[root@rabbitmq1 ~]# systemctl stop firewalld.service
[root@rabbitmq1 ~]# systemctl disable firewalld.service
#关内核
[root@rabbitmq1 ~]# setenforce 0
[root@rabbitmq1 ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
4、安装erlang依赖包
(所有机器)
[root@rabbitmq1 ~]# yum install -y socat
5、安装erlang、rabbitmq
通过网盘分享的文件:RabbitMQ
链接: https://pan.baidu.com/s/1icl-IRGP9ZUv0bne7s0QPw?pwd=1234 提取码: 1234
(所有机器)
#将包上传至服务器 erlang-23.3.2-1.el7.x86_64.rpm rabbitmq-server-3.8.14-1.el7.noarch.rpm
[root@rabbitmq1 ~]# rpm -ivh erlang-23.3.2-1.el7.x86_64.rpm
[root@rabbitmq1 ~]# rpm -ivh rabbitmq-server-3.8.14-1.el7.noarch.rpm
6、启动、关闭、重启、开机自启rabbitmq
[root@rabbitmq1 ~]# systemctl start rabbitmq-server #启动
[root@rabbitmq1 ~]# systemctl stop rabbitmq-server #关闭
[root@rabbitmq1 ~]# systemctl restart rabbitmq-server #重启
[root@rabbitmq1 ~]# systemctl enable rabbitmq-server #开机自启
[root@rabbitmq1 ~]# systemctl status rabbitmq-server #查看状态
7、将配置文件复制到另外两台机器相同目录下
#192.168.8.180
[root@rabbitmq1 ~]# scp /var/lib/rabbitmq/.erlang.cookie 192.168.8.177:/var/lib/rabbitmq/
[root@rabbitmq1 ~]# scp /var/lib/rabbitmq/.erlang.cookie 192.168.8.178:/var/lib/rabbitmq/
8、将另外两台加入到8.180里
注意加入集群时,当前机器需要关闭 “节点应用”
#192.168.8.177
[root@rabbitmq2 ~]# rabbitmqctl stop_app
[root@rabbitmq2 ~]# rabbitmqctl join_cluster rabbit@rabbitmq1
#@后面一定要跟主机名,不要跟IP。。。。。。。。。。。。。。。。。
[root@rabbitmq2 ~]# rabbitmqctl start_app
#192.168.8.178
[root@rabbitmq2 ~]# rabbitmqctl stop_app
[root@rabbitmq2 ~]# rabbitmqctl join_cluster rabbit@rabbitmq1
#@后面一定要跟主机名,不要跟IP。。。。。。。。。。。。。。。。。
[root@rabbitmq2 ~]# rabbitmqctl start_app
9、启动web管理插件,所有机器都要启动
#192.168.8.180
[root@rabbitmq1]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@rabbitmq1:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@rabbitmq1...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
started 3 plugins.
#192.168.8.177
[root@rabbitmq2]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@rabbitmq2:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@rabbitmq2...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
started 3 plugins.
#192.168.8.178
[root@rabbitmq3]# rabbitmq-plugins enable rabbitmq_management
Clustering node rabbit@rabbitmq3 with rabbit@rabbitmq1
[root@rabbitmq3 ~]# rabbitmqctl start_app
Starting node rabbit@rabbitmq3 ...
[root@rabbitmq3 ~]# rabbitmq-plugins enable rabbitmq_management
Enabling plugins on node rabbit@rabbitmq3:
rabbitmq_management
The following plugins have been configured:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
Applying plugin configuration to rabbit@rabbitmq3...
The following plugins have been enabled:
rabbitmq_management
rabbitmq_management_agent
rabbitmq_web_dispatch
started 3 plugins.
10、访问http://192.168.8.180:15672/#/
rabbitmq有个默认用户guest,密码也为guest,但是这个用户不允许远程登录,登录会报错的 User can only log in via localhost
解决方法:
可以使用命令行新增一个用户,用新用户登录
#在 RabbitMQ 中创建一个名为 "admin" 的用户,并为该用户设置密码为 "admin123"
rabbitmqctl add_user admin admin123
#这个命令用于设置用户的权限。在这个命令中,"-p /" 表示设置权限的路径为根路径。然后,"admin"." "." ".*" 表示为用户 "admin" 设置了三个权限参数,分别为配置、写入和读取权限。这意味着用户 "admin" 对所有的虚拟主机、所有的队列和所有的交换机都具有配置、写入和读取的权限
rabbitmqctl set_permissions -p / admin ".*" ".*" ".*"
# 这个命令用于为用户分配标签。在这里,命令为用户 "admin" 分配了 "administrator" 标签。管理员标签(administrator)赋予了用户更高级的权限,允许其执行管理操作,例如创建、删除队列、交换机,查看集群状态等
rabbitmqctl set_user_tags admin administrator
正常情况下,三个机器都可以访问的,这里就不多截图了
附:账号管理操作
#添加账户
[root@rabbitmq2 ~]# rabbitmqctl add_user admin aaa
#查看当前用户列表
[root@rabbitmq2 ~]# rabbitmqctl list_users
Listing users ...
user tags
admin [administrator]
guest [administrator]
[root@rabbitmq2 ~]#
#查看用户权限
[root@rabbitmq2 ~]# rabbitmqctl list_user_permissions admin
Listing permissions for user "admin" ...
vhost configure write read
/ .* .* .*
[root@rabbitmq2 ~]#
#更改用户密码
#删除用户
[root@rabbitmq2 ~]# rabbitmqctl delete_user aaa
Deleting user "aaa" ...
[root@rabbitmq2 ~]#