一、Java安裝
1、安裝包準備：
首先到官網下載下傳jdk，http://www.oracle.com/technetwork/java/javase/downloads /jdk7-downloads-1880260.html，我下載下傳jdk-7u79-linux-x64.tar.gz，下載下傳到主目錄
2、解壓安裝包
通過終端在/usr/local目錄下建立java檔案夾，指令行：
sudo mkdir /usr/local/java
然後将下載下傳到壓縮包拷貝到java檔案夾中，指令行：
進入jdk壓縮包所在目錄
cp jdk-7u79-linux-x64.tar.gz /usr/local/java
然後進入java目錄，指令行：
cd /usr/local/java
解壓壓縮包，指令行：
sudo tar xvf jdk-7u79-linux-x64.tar.gz
然後可以把壓縮包删除，指令行：
sudo rm jdk-7u79-linux-x64.tar.gz
3、設定jdk環境變量
這裡采用全局設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變量
sudo vi /etc/profile
打開之後在末尾添加
export JAVA_HOME=/usr/local/java/jdk1._79
export JRE_HOME=/usr/local/java/jdk1._79/jre
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin: $PATH
使profile生效
source /etc/profile
4、檢驗是否安裝成功
在終端
java -version
顯示如下
java version "1.7.0_79"
Java(TM) SE Runtime Environment (build _79-b15)
Java HotSpot(TM) -Bit Server VM (build -b02, mixed mode)
二、scala2.11.4安裝
1、安裝包準備：
首先到官網下載下傳scala，http://www.scala-lang.org/，下載下傳scala-2.11.4.tgz，并複制到/usr/lib
2、解壓安裝包
tar -zxf scala-2.11.4.tgz
3、設定scala環境變量
這裡采用全局設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變量
sudo vi /etc/profile
打開之後在末尾添加
export SCALA_HOME=/usr/lib/scala-.
export PATH=$SCALA_HOME/bin:$PATH
使profile生效
source /etc/profile
4、檢驗是否安裝成功
在終端
scala -version
顯示如下
[[email protected] scala-2.11.6]# scala
Welcome to Scala version (Java HotSpot(TM) -Bit Server VM, Java _71).
Type in expressions to have them evaluated.
Type :help for more information.
三、hadoop2.3安裝
1、安裝包準備：
hadoop版本有點混亂，除了http://hadoop.apache.org/有 衆多版本之外，還有Cloudera公司的CDH版本，請從觀望下載下傳hadoop-2.3.0.tar.gz或者下載下傳CDH版本hadoop- 2.3.0-cdh5.0.0.tar.gz，本文環境是在hadoop-2.3.0-cdh5.0.0.tar.gz之上建立。
2、解壓安裝包
下載下傳安裝包之後複制到/usr目錄。
tar -zxf hadoop-2.3.0-cdh5.0.0.tar.gz
解壓後生成hadoop-2.3.0-cdh5.0.0，重命名為hadoop-2.3.0。
3、配置環境
這裡采用全局設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變量
vi /etc/profile
打開之後在末尾添加
export HADOOP_HOME=/home/zero/hadoop/hadoop-.
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
使profile生效
source /etc/profile
3、建立hadoop使用者
useradd hadoop
passwd hadoop
3、配置SSH免登入
su hadoop //切換到hadoop使用者目錄下
ssh-keygen-t rsa(一路回車 生成密鑰)
cd/home/hadoop/.ssh/
scp id_rsa.pub [email protected]:/home/hadoop/.ssh/
mv id_rsa.pub authorized_keys
四、spark1.3.1安裝
1、安裝包準備：
spark官網下載下傳spark-1.3.1-bin-hadoop2.3.tgz。
2、解壓安裝包
下載下傳安裝包之後複制到/usr目錄。
tar -zxf spark--bin-hadoop2.tgz
tar zxvf spark--bin-hadoop2.tgz
解壓後生成spark-1.3.1-bin-hadoop2.3，重命名為spark-1.3.1-hadoop2.3。
3、配置環境
這裡采用全局設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變量
sudo vi /etc/profile
打開之後在末尾添加
export SPARK_HOME=/usr/spark-.-hadoop2.
export PATH=$SPARK_HOME/bin:$PATH
使profile生效
source /etc/profile
4、配置環境
這裡采用全局設定方法，就是修改etc/profile，它是是所有使用者的共用的環境變量
sudo vi /etc/profile
打開之後在末尾添加
export SPARK_HOME=/usr/spark-.-hadoop2.
export PATH=$SPARK_HOME/bin:$PATH
使profile生效
source /etc/profile
配置Spark環境變量
cd $SPARK_HOME/conf
cp spark-env.sh.template spark-env.sh
vi spark-env.sh 添加以下内容：
export JAVA_HOME=/usr/local/java-.0_79
export HADOOP_HOME=/usr/hadoop-.0
export HADOOP_CONF_DIR=/etc/hadoop/conf
export SCALA_HOME=/usr/lib/scala-.4
export SPARK_HOME=/usr/spark-.1-hadoop2.3
export SPARK_MASTER_IP=.0.1
export SPARK_MASTER_PORT=
export SPARK_MASTER_WEBUI_PORT=
export SPARK_WORKER_CORES= //每個Worker使用的CPU核數
export SPARK_WORKER_INSTANCES= //每個Slave中啟動幾個Worker執行個體
export SPARK_WORKER_MEMORY=G //每個Worker使用多大的記憶體
export SPARK_WORKER_WEBUI_PORT= //Worker的WebUI端口号
export SPARK_EXECUTOR_CORES= //每個Executor使用使用的核數
export SPARK_EXECUTOR_MEMORY=G //每個Executor使用的記憶體
export SPARK_CLASSPATH=/usr/spark-.1-hadoop2.3/lib/sequoiadb-driver-.jar:/usr/spark-.1-hadoop2.3/lib/spark-sequoiadb_2.11.2-.jar //使用巨衫資料庫
export SPARK_CLASSPATH=$SPARK_CLASSPATH:$CLASSPATH
export LD_LIBRARY_PATH=${LD_LIBRARY_PATH}:$HADOOP_HOME/lib/nativ
配置Slave
cp slaves.template slaves
vi slaves 添加以下内容：
到此為止，前面所有的安裝配置動作，在你的另一個機器上(所有的slave機器)同樣的做一遍，即我這裡的181機器
HADOOP_CONF_DIR是Hadoop配置檔案目錄，SPARK_MASTER_IP主機IP位址，SPARK_WORKER_MEMORY是worker使用的最大記憶體
完成配置後，将spark目錄copy slave機器
scp -r ~/opt/spark-.-bin-hadoop2.
spark@10..:~/opt/
5、啟動Spark Master
cd $SPARK_HOME/sbin/
./start-master.sh
6、啟動Spark Slave
cd $SPARK_HOME/sbin/
./start-slaves.sh
7、進入spark-1.2.0-bin-hadoop2.4/sbin/目錄
如果沒有設定ssh免密碼登陸，會要求輸入密碼
這時候jps檢視多了個master和worker
8、浏覽器檢視叢集資訊
master位址+8099端口
9、啟動Running Applications
在bin目錄下執行：
MASTER=spark://192.168.1.180:7077 ./spark-shell 這時候就可以看到運作的app
歡迎交流學習！