CDH6.0.1內建Flink1.10

制作parcel安裝包

制作支援

CDH-6.0.1

的

Flink-1.10.0

的

Parcel

安裝包

1. 下載下傳項目

   git clone https://github.com/pkeropen/flink-parcel.git

   cd flink-parcel

2. 修改配置檔案

   vim flink-parcel.properties

   修改後的内容如下：

#FLINK 下載下傳位址
# 這裡是内網下載下傳位址，下載下傳之後通過nginx做下載下傳管理的位址
FLINK_URL=http://10.1.24.134:38080/flink-self/flink-1.10.0-bin-scala_2.11.tgz
#flink版本号
FLINK_VERSION=1.10.0
#擴充版本号
EXTENS_VERSION=BIN-SCALA_2.11
#作業系統版本，以centos為例
OS_VERSION=7
#CDH 小版本
CDH_MIN_FULL=5.16.1
CDH_MAX_FULL=6.3.2
#CDH大版本
CDH_MIN=5
CDH_MAX=6
           

1. 生成

   parcel

   檔案

   ./build.sh parcel

   ，生成的檔案都在

   FLINK-1.10.0-BIN-SCALA_2.11_build

   目錄下

   

2. 生成

   csd

   檔案，生成檔案

   FLINK_ON_YARN-1.10.0.jar

   • on yarn

     版本

     • ./build.sh csd_on_yarn

   • standalone

     版本

     • ./build.sh csd_standalone

內建flink

1. 将生成的

   csd

   的

   jar

   封包件放入指定目錄中

cp FLINK_ON_YARN-1.10.0.jar /opt/cloudera/csd/
chown cloudera-scm:cloudera-scm /opt/cloudera/csd/FLINK_ON_YARN-1.10.0.jar
service cloudera-scm-server restart
           

1. 将生成的

   parcel

   三個檔案通過

   nginx

   或

   httpd

   服務配置下載下傳路徑。這裡配置的路徑為

   http://10.1.24.134:38080/flink/

   ，測試通路

   http://10.1.24.134:38080/flink/manifest.json

   

2. 登入

   http://10.1.24.224:7180/cmf/login

   ，點選

   叢集

   ==>

   Parcel

   

3. 點選

   配置

   

4. 增加一行url，并填入配置的

   parcel

   檔案内網下載下傳路徑

   

5. 然後依次選擇

   下載下傳

   >

   配置設定

   >

   激活

   

6. 添加

   Flink

   服務，按提示添加啟動并運作。

   

   

7. 添加環境變量

   vi /etc/profile
   export FLINK_HOME=/opt/cloudera/parcels/FLINK-1.10.0-BIN-SCALA_2.11/lib/flink
   export PATH=$PATH:$FLINK_HOME/bin
   source /etc/profile
              

說明

1. 在如果叢集開啟了安全，需要配置

   security.kerberos.login.keytab

   和

   security.kerberos.login.principal

   兩個參數才能正正常啟動。如未啟動

   kerberos

   ,則在

   CDH

   中添加

   FLINK

   服務時請清空這兩個參數的内容。
2. 如果啟動的過程中一直報錯，可以檢視

   flink

   日志，在

   /var/log/flink

   目錄下。
3. 如果啟動時報如下錯誤，則是缺少

   hadoop

   的相關

   jar

   包（

   flink-shaded-hadoop-2-uber-2.7.5-7.0.jar

   ），将

   jar

   下載下傳下來，放到

   /opt/cloudera/parcels/FLINK-1.10.0-BIN-SCALA_2.11/lib/flink/lib/

   目錄下即可。下載下傳位址：https://download.csdn.net/download/qq_39800434/12691909

   Error: A JNI error has occurred, please check your installation and try again
   Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/exceptions/YarnException
           at java.lang.Class.getDeclaredMethods0(Native Method)
           at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
           at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
           at java.lang.Class.getMethod0(Class.java:3018)
           at java.lang.Class.getMethod(Class.java:1784)
           at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
           at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
   Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.yarn.exceptions.YarnException
           at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
           at java.lang.ClassLoader.loadClass(ClassLoader.java:418)
           at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:352)
           at java.lang.ClassLoader.loadClass(ClassLoader.java:351)
           ... 7 more