日志系统重构之多源聚合的采集器 重构之前 重构之后 总结

最近对日志系统的采集机制进行了重构，增强了对单一主机上多个日志源采集的便捷性。

重构之前的设计以日志类型为中心，一个日志类型对应一个独立的flume的配置模板，一个日志类型的一个日志源（具体到某个节点上特定的日志文件）对应一个flume配置文件（也即一个flume agent）。flume配置模板主要针对这个日志类型的<code>日志文件名称</code>、<code>是否存在多行日志</code>、<code>日志首字符</code>、<code>目标接收方有关的配置</code>等固定属性。光靠这些配置还不够，因为这些日志类型所对应的日志会存在于各个具体的主机节点以及可能不同的文件系统路径下，所以针对某个日志类型的日志源还需要配置<code>日志文件路径</code>、<code>日志文件名称的模式</code>、<code>采集器元数据存储路径</code>等动态属性。

这里管控台的设计完全没有按照flume里<code>source</code>、<code>channel</code>、<code>sink</code>区分开来。<code>sink</code>的配置是混合在flume配置模板里。

管控台的功能逻辑图：

重构前zk Path设计：

重构前采集器的物理部署图：

采集源模板

采集器

采集源

采集槽

重构之后管控台的功能逻辑图：

重构后的zk path设计：

重构后的物理部署图：

其实不难看出，管控台的功能逻辑以生成flume配置文件为目标。所以设计的变更主要体现在管控台如何组织和管理这些元数据信息。

原文发布时间为：2016-02-10

本文作者：vinoYang