一:大綱介紹
1.導入方式
load data local inpath 'local_file_path' into table tbname partition (date='',hour='');
2.擷取資料源
20161114/2016111402.log
/2016111403.log
/2016111404.log
..........
3.hive準備
導入分區表
二:準備
1.日志目錄準備
日志目錄:/etc/opt/datas/log_hive
日志的檔案夾:20161114
2.hive準備
在hive中建立分區表
3.有源資料
4.建立腳本,并賦予執行權限
5.擷取前一天的時間
注意加上執行符。
6.顯示日志目錄
7.使用 -e 加載資料
8.效果
9.第二種方式加載的準備資料
9.使用 -f 加載資料
)建立檔案hive.sql
)shell語句
重點:$HIVE_HOME/bin/hive --hiveconf log_dir=$LOG_DIR --hiveconf file=$FILE --hiveconf day=$DAY --hiveconf hour=$HOUR --hiveconf tbname=$HIVE_TB -f /etc/opt/datas/log_hive/hive.sql
)效果
)HDFS上效果
10.整體查詢