天天看點

CentOS下Hive搭建

目錄

  • 1. 前言
  • 2. MySQL安裝
    • 2.1 更換yum下載下傳源
    • 2.2 開啟MySQL遠端登入
  • 3. Hive安裝
    • 3.1 下載下傳Hive
    • 3.2 安裝Hive和更改配置檔案
  • 4. MySQL驅動包的下載下傳
  • 5. 啟動與測試

1. 前言

前提是已經安裝好了hadoop,我的hadoop搭建主要參考CSDN的部落格,當然此次Hive環境的搭建主要也是參考這位部落客的另外一個部落格。不過我想将搭配過程中他的部落格沒有提到的幾個點記錄下來。

2. MySQL安裝

主要參考的是這篇部落格的,但是出現的第一個問題就是下載下傳得太慢了。為此,我要記錄的第一個點就是更換CentOS下yum的下載下傳源。更新完下載下傳源之後再按照步驟安裝mysql。

2.1 更換yum下載下傳源

主要參考的部落格是這篇,基本按照代碼一步步下來就沒有問題。

2.2 開啟MySQL遠端登入

開啟了遠端登入後,就能在本地通路虛拟機上的MySQL資料庫了,具體的操作參考這篇博文。我采用的是授權法,這樣在我的workbench可以登入到虛拟機的MySQL資料庫。

CentOS下Hive搭建

3. Hive安裝

3.1 下載下傳Hive

下載下傳網址,選擇的是2.3.5版本。

3.2 安裝Hive和更改配置檔案

Hive僅需要在NameNode上安裝即可,按照部落格安裝配置即可。安裝過程中有一個值得注意的點便是使用vim對字元串的全局替換。在vim中使用下列代碼可以将字元串

${system:java.io.tmpdir}

全部替換為

/opt/hive/tmp

:%s#${system:java.io.tmpdir}#/opt/hive/tmp#g           

還有一點就是對于檔案中一些字元串的搜尋,隻需按下

/

,再在後面跟上需要查找的字元串即可,然後按小寫的

n

查詢下一個,大寫的

N

查詢上一個

CentOS下Hive搭建

3.2.1 修改hive-site.xml資料庫相關的配置

在更改javax.jdo.option.ConnectionURL字段的時候,我搜到的大多數部落格包括我主要參考的這篇部落格都是修改為

<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true</value>

(mysql後跟的是ip位址+端口)。但是這樣操作的話會有SSL警告,這是我安裝好之後才發現的。

然後我找到一篇部落格解決了這個問題,這位部落客的做法是将該字段修改成

<value>jdbc:mysql://192.168.114.128:3306/hive?createDatabaseIfNotExist=true</value>&amp;useSSL=false

。親測改完之後不會再有SSL警告。

4. MySQL驅動包的下載下傳

下載下傳網址

選擇黑框這個下載下傳,之後用

scp

傳輸到虛拟機上的正确位址上

CentOS下Hive搭建

5. 啟動與測試

安裝參考部落格來,先執行

schematool -initSchema -dbType mysql

,會發現在MySQL資料庫中生成了hive資料庫。

CentOS下Hive搭建

然後按照部落格随便啟動hive指令行,在其中随意輸入幾個指令。所有的安裝完畢!

繼續閱讀