zeppelin入门并集成Spark2.3.2和Carbondata1.5.2步骤

简介：

官网：http://zeppelin.apache.org/

官网简介：基于Web的notebook，支持SQL，Scala等数据驱动的交互式数据分析和协作文档。

环境：

1. CentOS release 6.10 (Final)
2. java version "1.8.0_131"
3. Spark 2.3.2
4. Carbondata 1.5.2

下载安装包：

下载地址：http://zeppelin.apache.org/download.html

如上图所示，下载页面上有两个二进制安装包。这两个二进制文件唯一的区别是安装包中包含的解释器不同。

1. all interpreter package:将其解压到您选择的目录中，就可以开始了。
2. net-install interpreter package:解压包并根据以下链接来安装额外的解释器。如果不确定，就运行./bin/install- interpretation .sh --all 安装所有的解释器。

http://zeppelin.apache.org/docs/0.8.1/usage/interpreter/installation.html

下载zeppelin-0.8.1-bin-all.tgz，然后上传至服务器，如下图所示：

上传至/opt/software目录中。

安装步骤：

1. 使用以下命令，将安装包解压到/opt/apps目录中：

   cd /opt/software

   tar -zxf zeppelin-0.8.1-bin-all.tgz -C /opt/apps/

   cd /opt/apps/zeppelin-0.8.1-bin-all

2. 配置zeppelin-env.sh文件：

   1. cd conf/

      cp zeppelin-env.sh.template zeppelin-env.sh

      vim zeppelin-env.sh

   2. 修改以下配置：

      export JAVA_HOME=/opt/java/jdk1.8.0_131

      export MASTER=yarn-client

      export SPARK_HOME=/opt/apps/spark

      export SPARK_SUBMIT_OPTIONS="--packages com.databricks:spark-csv_2.11:1.2.0"

      export HADOOP_CONF_DIR=/etc/hadoop/conf

3. 配置zeppelin-site.xml文件：

   1. cp zeppelin-site.xml.template zeppelin-site.xml

      vim zeppelin-site.xml

   2. 修改以下配置，修改zeppelin的端口号为58888：

      <property>

        <name>zeppelin.server.port</name>

        <value>58888</value>

        <description>Server port.</description>

      </property>

4. 往spark的$SPARK_HOME/jars/中添加Carbondata的依赖包：

   

5. 替换zeppelin中的jackson依赖包：

   cd $ZEPPELIN_HOME/lib

   rm -rf jackson-databind-2.8.11.1.jar

   cp $SPARK_HOME/jars/jackson-databind-2.6.7.1.jar ./

   结果如下：

   

6. 将下图两个carbondata的依赖包，添加到hadoop的/opt/cloudera/parcels/CDH/lib/hadoop/lib目录下：

   

启动zeppelin

1. 启动服务命令

   bin/zeppelin-daemon.sh start

2. 停止服务命令

   bin/zeppelin-daemon.sh stop

基本操作zeppelin

1. 打开浏览器，输入主机名:+58888端口号，进入zeppelin界面：

   

2. 点击以下红框圈住的连接，可以创建note：

   

3. 点击以下红框圈住的连接，可以配置解释器：

   

4. 点击Interpreter进行配置：

   

5. 对hdfs进行配置：

   

6. 对spark进行配置：

   

   。。。

   

7. 返回首页，点击create new note，可以创建一个note，创建时输入note名称，并选择解释器，点击创建：

   

8. 首先输入声明，其次输入指令进行操作，指令可以试类SQL，也可以是Scala或者python程序:

   

9. 根据查询结果，具有不同的图表展示：

   

10. 也可以直接输入程序：

    

11. spark的声明有如下图所示：

    

12. 具体配置详见页面：http://zeppelin.apache.org/docs/0.8.1/interpreter/spark.html