天天看点

052 自动将每日的日志增量导入到hive中

一:大纲介绍

1.导入方式

  load data local inpath 'local_file_path' into table tbname partition (date='',hour='');

2.获取数据源

  20161114/2016111402.log

       /2016111403.log

       /2016111404.log

          ..........

3.hive准备

  导入分区表

二:准备

1.日志目录准备

  日志目录:/etc/opt/datas/log_hive

  日志的文件夹:20161114

  

2.hive准备

在hive中创建分区表

052 自动将每日的日志增量导入到hive中

3.有源数据

052 自动将每日的日志增量导入到hive中

4.新建脚本,并赋予执行权限

5.获取前一天的时间

  注意加上执行符。

052 自动将每日的日志增量导入到hive中

6.显示日志目录

052 自动将每日的日志增量导入到hive中

7.使用 -e 加载数据

 8.效果

052 自动将每日的日志增量导入到hive中
052 自动将每日的日志增量导入到hive中

9.第二种方式加载的准备数据

9.使用 -f 加载数据

  )新建文件hive.sql

052 自动将每日的日志增量导入到hive中

  )shell语句

  重点:$HIVE_HOME/bin/hive --hiveconf log_dir=$LOG_DIR --hiveconf file=$FILE --hiveconf day=$DAY --hiveconf hour=$HOUR --hiveconf tbname=$HIVE_TB -f /etc/opt/datas/log_hive/hive.sql

052 自动将每日的日志增量导入到hive中

  )效果

052 自动将每日的日志增量导入到hive中

  )HDFS上效果

   

10.整体查询

052 自动将每日的日志增量导入到hive中