天天看点

StreamingPro 支持多输入,多输出配置

<b>前言</b>

最近正好有个需求,就是从不同的数据库以及表里拉出数据,经过一定的处理放到es里供查询,最好还能放个到parquet里,这样可以支持更复杂的sql。之前streamingpro是只能配置一个数据源的,所以做了些改造,方便配置多个数据源,以及多个写出。

<b>输入配置</b>

以前用的是 batch.source, 如果你有多个输入源,则需要使用batch.sources 组件。每个源需要配置一个outputtable,也就是说这个源取个名字,方便后面使用。

如果是数据库,则可以这么写:

<b>输出</b>

我这里同时输出为json以及parquet格式。

<b>一个简单但是涉及点比较多的例子</b>

在 batch.sql 里你可以引用任何一个源的表,或者之前已经在batch.sql里申明的outputtable, 同理batch.script。 而在batch.outputs里,你则可以将任何一张表写入到mysql,es,hdfs等文件存储系统中。

将配置文件保存一下,然后就可以启动了: