<b>前言</b>
carbondata已经发布了1.0版本,变更还是很快的,这个版本已经移除了kettle了,使得部署和使用 变得很简单,而且支持1.6+ ,2.0+等多个spark版本。
streamingpro可以使得你很简单通过一个命令就能体验carbondata,并且支持http/jdbc的访问形态。
<b>下载spark发行版</b>
比如我下载后的版本是这个: spark-1.6.3-bin-hadoop2.6。
<b>下载streamingpro</b>
你需要一个数据库
因为我们用到了hive 的mysql,所以你需要准备一个可以连接的数据库。只要能连接就行。如果没有,比如你是mac的话,用
即可。然后brew services start mysql
创建一个数据库:
写一个hive-site.xml文件
<b>可以启动了</b>
参数比较多。大家不用管他。 这样http端口是9004, jdbc端口是 10000。
我们可以通过http创建一张表
写入数据前,我们建立一个sample.csv的文件,
然后将这个文件导入:
这个使用我们可以用http查询:
你也可以写一个jdbc程序:
完成。