日志数据预处理与投递

背景介绍

什么是日志服务？

日志服务是针对日志类数据的一站式服,像Log、Metric这类数据我们可以提供大规模、低成本、实时的平台化服务。它的应用场景非常多，像一些监控、分析、诊断都可以通过日志服务去实现，无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能，提升运维、运营效率，建立DT时代海量日志处理能力。

什么是数据加工？

数据加工是日志服务推出的一项功能，是面向日志进行实时的处理，实时性高且功能丰富。数据加工目前提供了两百多种DSL算子用作数据处理，我们可以在数据加工中根据需求做数据过滤、转换、复制、富化、分裂等操作。

什么是数据投递？

数据投递是指将日志服务采集的数据投递至OSS、ADB、MaxCompute等其他阿里云产品中，便于您长期存储数据或联合其它系统消费数据。

数据加工与投递

在我们做数据投递的时候，可能需要先对数据做一定的加工处理，像数据字段的保留、删除、改名，打包等操作，加工完成之后然后我们再投递到相应的服务中。

场景实例

这里有一个场景，在数据投递之前我们需要对左边的原始日志做一些加工处理，右边的日志是我们投递需要的日志，图中包含了三个加工场景。

场景使用字段操作函数解决示范

场景1：字段重命名操作

场景2：字段删除操作

场景3：字段打包操作

字段操作函数介绍

FAQ