大数据工具篇之Hive与HBase整合完整教程

一、引言

　　最近的一次培训，用户特意提到hadoop环境下hdfs中存储的文件如何才能导入到hbase，关于这部分基于hbase java api的写入方式，之前曾经有过技术文章共享，本文就不再说明。本文基于hive执行hdfs批量向hbase导入数据，讲解hive与hbase的整合问题。这方面的文章已经很多，但是由于版本差异，可操作性不大，本文采用的版本均基于以下版本说明中的版本。

二、版本说明

序号

软件

版本

1

hive

 0.10.0

2

hbase

0.94.0

3

hadoop

1.0.1

　　

三、配置指南

　　3.1 创建配置文件

　　cp conf/hive-default.xml.template hive-default.xml

　　cp conf/hive-default.xml.template hive-site.xml

　　3.2 修改配置文件

　　基于hive-default.xml.template进行拷贝复制的hive-site.xml文件有问题，主要集中在<description></description>标签不配对的情况，需要根据错误提示进行修改，修改完成后的配置文件如下所示：　　

3.3 新增配置属性-hive.aux.jars.path　　

　　3.4 拷贝jar包到hive/lib目录

　　hbase-0.94.0.jar，zookeeper-3.4.3.jar

四、测试脚本-创建hbase能够识别的数据表

五、异常解决

　　5.1 错误提示

 　　5.2 解决方案　　

　　将$hbase_home/lib/protobuf-java-2.4.0a.jar 拷贝到 $hive_home/lib/.

六、运行效果