分布式系统中,我们广泛运用消息中间件进行系统间的数据交换,便于异步解耦。现在开源的消息中间件有很多,前段时间我们自家的产品 rocketmq (metaq的内核) 也顺利开源,得到大家的关注。
那么,消息中间件性能究竟哪家强?
带着这个疑问,我们中间件测试组对常见的三类消息产品(kafka、rabbitmq、rocketmq)做了性能比较。
kafka是linkedin开源的分布式发布-订阅消息系统,目前归属于apache定级项目。kafka主要特点是基于pull的模式来处理消息消费,追求高吞吐量,一开始的目的就是用于日志收集和传输。0.8版本开始支持复制,不支持事务,对消息的重复、丢失、错误没有严格要求,适合产生大量数据的互联网服务的数据收集业务。
rabbitmq是使用erlang语言开发的开源消息队列系统,基于amqp协议来实现。amqp的主要特征是面向消息、队列、路由(包括点对点和发布/订阅)、可靠性、安全。amqp协议更多用在企业系统内,对数据一致性、稳定性和可靠性要求很高的场景,对性能和吞吐量的要求还在其次。
rocketmq是阿里开源的消息中间件,它是纯java开发,具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。rocketmq思路起源于kafka,但并不是kafka的一个copy,它对消息的可靠传输及事务性做了优化,目前在阿里集团被广泛应用于交易、充值、流计算、消息推送、日志流式处理、binglog分发等场景。
对比kafka、rabbitmq、rocketmq发送小消息(124字节)的性能。这次压测我们只关注服务端的性能指标,所以压测的标准是:
不断增加发送端的压力,直到系统吞吐量不再上升,而响应时间拉长。这时服务端已出现性能瓶颈,可以获得相应的系统最佳吞吐量。
在发送小消息的场景中,三个消息中间件的表现区分明显:
kafka的吞吐量高达17.3w/s,远超其他两个产品。这主要取决于它的队列模式保证了写磁盘的过程是线性io。此时broker磁盘io已达瓶颈。
rocketmq也表现不俗,吞吐量在11.6w/s,磁盘io %util已接近100%。rocketmq的消息写入内存后即返回ack,由单独的线程专门做刷盘的操作,所有的消息均是顺序写文件。
rabbitmq的吞吐量5.95w/s,cpu资源消耗较高。它支持amqp协议,实现非常重量级,为了保证消息的可靠性在吞吐量上做了取舍。我们还做了rabbitmq在消息持久化场景下的性能测试,吞吐量在2.6w/s左右。
服务端为单机部署,机器配置如下:
应用版本:
前面我们对比了最简单的小消息发送场景,kafka暂时胜出。但在实际应用中,这种纯堆积无消费的模式非常少见。在互联网应用场景中,消息中间件的消息消费能力、海量订阅者的支撑能力也尤为重要。
接下来我们会围绕分区数量、消息大小、消费形式等不同的影响因子,对三类消息中间件做对比。如果你对本系列文章感兴趣的话,就点击“关注”吧,敬请期待后续的报告!
<a href="https://yq.aliyun.com/articles/62832?spm=5176.8091938.0.0.ugjine">kafka vs rocketmq——topic数量对单机性能的影响</a>
<a href="http://www.atatech.org/articles/46403">kafka vs rocketmq—— 多topic对性能稳定性的影响</a>
<a href="https://yq.aliyun.com/articles/62833?spm=5176.8091938.0.0.mykda1">kafka vs rocketmq——单机系统可靠性</a>
<a href="https://yq.aliyun.com/articles/62834?spm=5176.8091938.0.0.nezyrn">业界主流mq对比</a>
<a href="https://yq.aliyun.com/articles/62836?spm=5176.8091938.0.0.zj8hp5">kafka vs rocketmq——消息及时性对比</a>