天天看點

052 自動将每日的日志增量導入到hive中

一:大綱介紹

1.導入方式

  load data local inpath 'local_file_path' into table tbname partition (date='',hour='');

2.擷取資料源

  20161114/2016111402.log

       /2016111403.log

       /2016111404.log

          ..........

3.hive準備

  導入分區表

二:準備

1.日志目錄準備

  日志目錄:/etc/opt/datas/log_hive

  日志的檔案夾:20161114

  

2.hive準備

在hive中建立分區表

052 自動将每日的日志增量導入到hive中

3.有源資料

052 自動将每日的日志增量導入到hive中

4.建立腳本,并賦予執行權限

5.擷取前一天的時間

  注意加上執行符。

052 自動将每日的日志增量導入到hive中

6.顯示日志目錄

052 自動将每日的日志增量導入到hive中

7.使用 -e 加載資料

 8.效果

052 自動将每日的日志增量導入到hive中
052 自動将每日的日志增量導入到hive中

9.第二種方式加載的準備資料

9.使用 -f 加載資料

  )建立檔案hive.sql

052 自動将每日的日志增量導入到hive中

  )shell語句

  重點:$HIVE_HOME/bin/hive --hiveconf log_dir=$LOG_DIR --hiveconf file=$FILE --hiveconf day=$DAY --hiveconf hour=$HOUR --hiveconf tbname=$HIVE_TB -f /etc/opt/datas/log_hive/hive.sql

052 自動将每日的日志增量導入到hive中

  )效果

052 自動将每日的日志增量導入到hive中

  )HDFS上效果

   

10.整體查詢

052 自動将每日的日志增量導入到hive中