天天看点

使用StreamingPro 快速构建Spark SQL on CarbonData

<b>前言</b>

carbondata已经发布了1.0版本,变更还是很快的,这个版本已经移除了kettle了,使得部署和使用 变得很简单,而且支持1.6+ ,2.0+等多个spark版本。

streamingpro可以使得你很简单通过一个命令就能体验carbondata,并且支持http/jdbc的访问形态。

<b>下载spark发行版</b>

比如我下载后的版本是这个: spark-1.6.3-bin-hadoop2.6。

<b>下载streamingpro</b>

你需要一个数据库

因为我们用到了hive 的mysql,所以你需要准备一个可以连接的数据库。只要能连接就行。如果没有,比如你是mac的话,用

即可。然后brew services start mysql

创建一个数据库:

写一个hive-site.xml文件

<b>可以启动了</b>

参数比较多。大家不用管他。 这样http端口是9004, jdbc端口是 10000。

我们可以通过http创建一张表

写入数据前,我们建立一个sample.csv的文件,

然后将这个文件导入:

这个使用我们可以用http查询:

你也可以写一个jdbc程序:

完成。