天天看点

StreamingPro 再次支持 Structured Streaming

<b>前言</b>

<b>准备工作</b>

下载streamingpro for spark 2.0的包,然后下载spark 2.1 的安装包。

<b>测试例子</b>

写一个json文件ss.json,内容如下:

大体是一个socket源,一个sample文件。socket源是流式的,sample文件则是批处理的。sample.csv内容如下:

然后你在终端执行 nc -lk 9999 就好了。

然后运行spark程序:

在nc 那个终端输入比如eason ,然后回车,马上就可以看到spark终端接受到了数据。