(一)基本概念
rabbitmq 是流行的开源消息队列系统,用 erlang 语言开发。我曾经对这门语言挺有兴趣,学过一段时间,后来没坚持。rabbitmq 是 amqp(高级消息队列协议)的标准实现。如果不熟悉 amqp,直接看 rabbitmq 的文档会比较困难。不过它也只有几个关键概念,这里简单介绍。
rabbitmq 的结构图如下:
几个概念说明:
broker:简单来说就是消息队列服务器实体。
exchange:消息交换机,它指定消息按什么规则,路由到哪个队列。
queue:消息队列载体,每个消息都会被投入到一个或多个队列。
binding:绑定,它的作用就是把 exchange 和 queue 按照路由规则绑定起来。
routing key:路由关键字,exchange 根据这个关键字进行消息投递。
vhost:虚拟主机,一个 broker 里可以开设多个 vhost,用作不同用户的权限分离。
producer:消息生产者,就是投递消息的程序。
consumer:消息消费者,就是接受消息的程序。
channel:消息通道,在客户端的每个连接里,可建立多个 channel,每个 channel 代表一个会话任务。
消息队列的使用过程大概如下:
(1)客户端连接到消息队列服务器,打开一个 channel 。
(2)客户端声明一个 exchange,并设置相关属性。
(3)客户端声明一个 queue,并设置相关属性。
(4)客户端使用 routing key(本质上是 binding key,后文已做相应纠正),在 exchange 和 queue 之间建立好绑定关系。
(5)客户端投递消息到 exchange 。
exchange 接收到消息后,就根据消息的 routing key 和已经设置的 binding 关系,进行消息路由,将消息投递到一个或多个队列里。
exchange 也有几个类型:
完全根据 routing key 进行投递的叫做 direct 交换机。例如,绑定时设置了 binding key 为 "abc",那么客户端提交的消息,只有设置了routing key 为 "abc" 的才会被投递到该队列。
对 routing key 进行模式匹配后进行投递的叫做 topic 交换机。符号 "#" 匹配一个或多个词,符号 "*" 匹配正好一个词。例如 "abc.#" 可以匹配 "abc.def.ghi" ,"abc.*" 只能匹配 "abc.def" 。
还有一种不需要 routing key 的,叫做 fanout 交换机。它采取广播模式,一个消息进来时,投递到与该交换机绑定的所有队列。
rabbitmq 支持消息的持久化,也就是数据写在磁盘上,为了数据安全考虑,我想大多数用户都会选择持久化。消息队列持久化包括 3 个部分:
(1)exchange 持久化,在声明时指定 durable => 1
(2)queue 持久化,在声明时指定 durable => 1
(3)消息持久化,在投递时指定 delivery_mode => 2(1 是非持久化)
如果 exchange 和 queue 都是持久化的,那么它们之间的 binding 也是持久化的。
(二)应用实际
使用 linux 服务器(ubuntu 9.10 64位),安装 rabbitmq 非常方便。
先运行如下命令安装 erlang:
<a href="http://my.oschina.net/moooofly/blog/92277#">?</a>
1
<code># apt-get install erlang-nox</code>
再到rabbitmq.com上下载rabbitmq的安装包,如下安装:
<code># dpkg -i rabbitmq-server_2.6.1-1_all.deb</code>
安装完后,使用
<code># /etc/init.d/rabbitmq-server start|stop|restart</code>
来启动、停止、重启 rabbitmq。
在正式应用之前,我们先在 rabbitmq 里创建一个 vhost ,加一个用户,并设置该用户的权限。
使用 rabbitmqctl 客户端工具,在根目录下创建 "/pyhtest" 这个 vhost :
<code># rabbitmqctl add_vhost /pyhtest</code>
创建一个用户名 "pyh" ,设置密码 "pyh1234" :
<code># rabbitmqctl add_user pyh pyh1234</code>
设置pyh用户对/pyhtest这个vhost拥有全部权限:
<code># rabbitmqctl set_permissions -p /pyhtest pyh “.*” “.*” “.*”</code>
后面三个”*”代表pyh用户拥有对/pyhtest的配置、写、读全部权限
设置好后,开始编程,我用 perl 写一个消息投递程序(producer):
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
<code>#!/usr/bin/perl</code>
<code>use</code> <code>strict;</code>
<code>use</code> <code>net::rabbitmq;</code>
<code>use</code> <code>uuid::tiny;</code>
<code>my</code> <code>$channel</code> <code>= 1000;</code><code># channel id,可以随意指定,只要不冲突</code>
<code>my</code> <code>$queuename</code> <code>= “pyh_queue”;</code><code># 队列名</code>
<code>my</code> <code>$exchange</code> <code>= “pyh_exchange”;</code><code># 交换机名</code>
<code>my</code> <code>$routing_key</code> <code>= “test”;</code><code># routing key</code>
<code>my</code> <code>$mq</code> <code>= net::rabbitmq->new();</code><code># 创建一个rabbitmq对象</code>
<code>$mq</code><code>-></code><code>connect</code><code>(“localhost”, {</code><code>vhost</code> <code>=> “/pyhtest”,</code><code>user</code> <code>=> “pyh”,</code><code>password</code> <code>=> “pyh1234″ });</code><code># 建立连接</code>
<code>$mq</code><code>->channel_open(</code><code>$channel</code><code>);</code><code># 打开一个channel</code>
<code>$mq</code><code>->exchange_declare(</code><code>$channel</code><code>,</code><code>$exchange</code><code>, {</code><code>durable</code> <code>=> 1});</code><code># 声明一个持久化的交换机</code>
<code>$mq</code><code>->queue_declare(</code><code>$channel</code><code>,</code><code>$queuename</code><code>, {</code><code>durable</code> <code>=> 1});</code><code># 声明一个持久化的队列</code>
<code>$mq</code><code>->queue_bind(</code><code>$channel</code><code>,</code><code>$queuename</code><code>,</code><code>$exchange</code><code>,</code><code>$routing_key</code><code>);</code><code># 使用routing key在交换机和队列间建立绑定</code>
<code>for</code> <code>(</code><code>my</code> <code>$i</code><code>=0;</code><code>$i</code><code><10000000;</code><code>$i</code><code>++) {</code><code># 循环1000万次</code>
<code>my</code> <code>$string</code> <code>= create_uuid_as_string(uuid_v1);</code><code># 产生一条uuid作为消息主体</code>
<code>$mq</code><code>->publish(</code><code>$channel</code><code>,</code><code>$routing_key</code><code>,</code><code>$string</code><code>, {</code><code>exchange</code> <code>=></code><code>$exchange</code> <code>}, {</code><code>delivery_mode</code> <code>=> 2 });</code><code># 将消息结合key以持久化模式投递到交换机</code>
<code>}</code>
<code>$mq</code><code>->disconnect();</code><code># 断开连接</code>
消息接受程序(consumer)大概如下:
<code>my</code> <code>$channel</code> <code>= 1001;</code>
<code>my</code> <code>$queuename</code> <code>= “pyh_queue”;</code>
<code>my</code> <code>$mq</code> <code>= net::rabbitmq->new();</code>
<code>$mq</code><code>-></code><code>connect</code><code>(“localhost”, {</code><code>vhost</code><code>=>”/pyhtest”,</code><code>user</code> <code>=> “pyh”,</code><code>password</code> <code>=> “pyh1234″ });</code>
<code>$mq</code><code>->channel_open(</code><code>$channel</code><code>);</code>
<code>while</code> <code>(1) {</code>
<code>my</code> <code>$hashref</code> <code>=</code><code>$mq</code><code>->get(</code><code>$channel</code><code>,</code><code>$queuename</code><code>);</code>
<code>last</code> <code>unless</code> <code>defined</code> <code>$hashref</code><code>;</code>
<code>print</code> <code>$hashref</code><code>->{message_count}, “: “,</code><code>$hashref</code><code>->{body},”\n”;</code>
<code>$mq</code><code>->disconnect();</code>
consumer 连接后只要指定队列就可获取到消息。
上述程序共投递 1000 万条消息,每条消息 36 字节(uuid),打开持久化,共耗时 17 分多钟(包括产生 uuid 的时间),每秒投递消息约 9500 条。测试机器是 8g 内存、8 核志强 cpu 。
投递完后,在 /var/lib/rabbitmq/mnesia/rabbit@${hostname}/msg_store_persistent 目录,产生 2g 多的持久化消息数据。在运行 consumer 程序后,这些数据都会消失,因为消息已经被消费了。