将資料通過shell腳本從hdfs導入到hive中

在建立項目的時候 需要将資料導入 則此時的資料不能通過hql來再shell中展示 是以需要記錄腳本

而這塊内容應該寫在一個單獨的子產品下面

需要注意的是對檔案的明明

xx_yy_zz.hql

xx 檔案名 yy 表示資料庫對應表明 zz分區性質如按照天則為yyyymmdd

這樣明明的好處就是一目了然 讓人明白它是哪的檔案用于做什麼的

運作真個shell腳本 過程

啟動hdfs ，yarn

sqoop2-server ： 建立job 以及用于将資料從PostgreSql導入到hdfs

hiveserver2 将資料從hdfs導入到hive中

将腳本傳到 linux上

通過指令執行腳本 有

yyyymmdd 為日期與腳本中的yyyym

yyyymmdd對應