centos+scala2.11.4+hadoop2.3+spark1.3.1环境搭建一、Java安装二、scala2.11.4安装三、hadoop2.3安装四、spark1.3.1安装

1、安装包准备：

首先到官网下载jdk，http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html，我下载jdk-7u79-linux-x64.tar.gz，下载到主目录

2、解压安装包

通过终端在/usr/local目录下新建java文件夹，命令行：

然后将下载到压缩包拷贝到java文件夹中，命令行：

进入jdk压缩包所在目录

然后进入java目录，命令行：

解压压缩包，命令行：

然后可以把压缩包删除，命令行：

3、设置jdk环境变量

这里采用全局设置方法，就是修改etc/profile，它是是所有用户的共用的环境变量

打开之后在末尾添加

使profile生效

4、检验是否安装成功

在终端

显示如下

java version "1.7.0_79"

Java(TM) SE Runtime Environment (build 1.7.0_79-b15)

Java HotSpot(TM) 64-Bit Server VM (build 24.79-b02, mixed mode)

PS:后来发现直接rpm包jdk-7u79-linux-x64.rpm桌面双击安装也OK，^_^

3、设置scala环境变量

export SCALA_HOME=/usr/lib/scala-2.11.4

export PATH=$SCALA_HOME/bin:$PATH

Scala code runner version 2.11.4 -- Copyright 2002-2013, LAMP/EPFL

下载安装包之后复制到/usr目录。

3、配置环境

3、建立hadoop用户

useradd hadoop

passwd hadoop

3、配置SSH免登录

su  hadoop  //切换到hadoop用户目录下

ssh-keygen-t rsa(一路回车 生成密钥)

cd/home/hadoop/.ssh/

scp  id_rsa.pub hadoop@slave1:/home/hadoop/.ssh/

mv id_rsa.pub authorized_keys

spark官网下载spark-1.3.1-bin-hadoop2.3.tgz。

export SPARK_HOME=/usr/spark-1.3.1-hadoop2.3

export PATH=$SPARK_HOME/bin:$PATH

4、配置环境

配置Spark环境变量

cd $SPARK_HOME/conf

cp spark-env.sh.template spark-env.sh

vi spark-env.sh 添加以下内容：

export SPARK_CLASSPATH=/usr/spark-1.3.1-hadoop2.3/lib/sequoiadb-driver-1.12.jar:/usr/spark-1.3.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-1.12.jar  //使用巨衫数据库

export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH

export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ

配置Slave

cp slaves.template slaves

vi slaves 添加以下内容：

localhost

5、启动Spark  Master

cd $SPARK_HOME/sbin/

./start-master.sh

6、启动Spark  Slave

./start-slaves.sh