LinkedIn 详细介绍了他们开源的 Kafka Monitor

在2016年4月份举行的kafka峰会上，linkedin在apache 2.0许可协议下开源了kafka monitor，并于近日详细介绍了该监控工具的架构以及他们最初的构建动机。在年初的时候，linkedin曾在一篇有关kafka整体应用的文章中简单地提及过kafka monitor，但并没有详细介绍该项目的语义组成或者背后的动机。

kafka monitor项目的动机有三个：

需要监控和测试kafka部署并跟踪主干稳定性，以便他们能够尽早捕获正在开发的变更集中的问题；

需要不间断地在生产集群上监控sla，并不断地在测试集群上运行回归测试；

现有的监控框架无法满足其用例的扩展性、模块化需求，他们需要一个自定义的客户端库。

网站可靠性工程部门过去已经监控了输入速率、离线分区数和正在复制的分区数等指标，以确定kafka集群的可用性和系统整体的健康状况。然而，问题在于，这类原始的值本身无法表明集群在终端用户体验方面是否真的可用。

在linkedin的公开出版物keystone pipeline里，他们提到了两个潜在的kafka候选监控方案，微软的一个项目和netflix kafka监控，但最终确定它们不适合自己的应用场景。

kafka monitor允许开发人员组合模拟各种故障场景的模块，如gc中断、broker硬杀及“滚动弹出（rolling bounces）”、磁盘故障，并随着场景进行收集有关服务运行时行为的指标。每次当生产者创建消息时抛出的异常被捕获，衡量生产者服务错误率的指标就会增加。消费者服务会跟踪一个由kafka分区分割的增量索引计数器以及消息净荷的时间戳，以便度量消息丢失率、重复率以及端到端延迟。

kafka monitor实例运行在一个单独的java进程中，运行多个测试，介于用户或消费者服务与kafka集群之间。kafka monitor收集的运行时指标包括生产者服务的生产效率、消费者服务的消费效率、消息丢失、消息重复和端到端延迟。多个kafka monitor跨多个kafka集群运行大量的测试场景，这可以由一个复制服务通过镜像方式捕获跨集群的总体延迟指标。

kafka monitor原生支持java，但也为非jvm语言提供了一个rest接口。这对开源社区有着特殊的意义，linkedin的dong lin表示：

我们一般会脱离apache kafka主干，并每季度生成一个新的内部版本，或者吸收apache kafka的新特性。脱离主干的一个显著的好处是，部署在linkedin生产集群中的kafka经常有已经在apache kafka主干中检测到的问题，他们可以在apache kafka正式版本发布之前进行修复。

kafka项目本身包含一些系统测试，每次代码捡入时都会运行，鉴于和kafka主干的紧密关系，linkedin计划实现类似的系统测试。他们希望将kafka monitor和类似simoorg这样的错误注入框架以及graphite或类似的框架集成，以便能够通过一个单独的web服务查看kafka monitor集群生成的所有指标。

linkedin还简单地提到了如何设置基本的监控，生成并可视化核心指标。他们的github页面提供了详细的信息。