安装spark - standalone模式

假设我们使用三台机器安装spark，分别是host1、host2、host3. 其中，host2作为主节点。

安装步骤如下。

1、下载、解压安装文件

wget http://d3kbcqa49mib13.cloudfront.net/spark-1.6.1-bin-hadoop2.6.tgz （下载安装文件）

tar zxf spark-1.6.1-bin-hadoop2.6.tgz

2、修改配置文件

cd spark-1.6.1-bin-hadoop2.6/

cp conf/slaves.template conf/slaves

vi conf/slaves

    host1

    host2

    host3

cp conf/spark-env.sh.template conf/spark-env.sh

vi conf/spark-env.sh

SPARK_MASTER_IP=host2

SPARK_MASTER_PORT=7001

SPARK_MASTER_WEBUI_PORT=7002

SPARK_WORKER_CORES=1

SPARK_WORKER_MEMORY=2g

SPARK_WORKER_PORT=7003

SPARK_WORKER_WEBUI_PORT=7004

SPARK_WORKER_INSTANCES=1

    JAVA_HOME=/storm/jdk1.8.0_60

3、设置无秘钥登录及环境变量

确保“java -version”执行成功

配置无秘钥登录：在master上用“ssh-kengen -t rsa”命令生成公私钥对（回车两次，私钥无密码），将公钥复制到三台机器上的用户主目录下的.ssh文件夹的authorized_keys文件末尾。

配置环境变量（三台机器上都要执行）：vi ~/.bash_profile

export SPARK_HOME=/home/wangshichun/spark-1.6.1-bin-hadoop2.6

生效环境变量：source ~/.bash_profile

4、复制配置文件到其他机器

scp conf/slaves host1:$SPARK_HOME/conf

scp conf/slaves host3:$SPARK_HOME/conf

scp conf/spark-env.sh host1:$SPARK_HOME/conf

scp conf/spark-env.sh host3:$SPARK_HOME/conf

5、交互模式执行spark代码，进行功能测试（也称为Local模式部署）

在$SPARK_HOME目录下：

./bin/spark-shell

或

./bin/spark-shell --master local[1]

或

./bin/spark-shell --master spark://host2:7001 （使用此中方式启动spark-shell后，在master的ui界面上会看到“Running Applications”中有名为“Spark shell”的任务，spark-shell退出后，会出现在“Completed Applications”中）

--jars 参数可以将多个jar文件（逗号分隔）添加到程序的classpath中

等出现“scala>”提示符后，输入如下内容：

scala> var textFile = sc.textFile("file:///home/wangshichun/spark-1.6.1-bin-hadoop2.6/README.md")

textFile: org.apache.spark.rdd.RDD[String] = file:///home/wangshichun/spark-1.6.1-bin-hadoop2.6/README.md MapPartitionsRDD[5] at textFile at <console>:27

scala> textFile.first()

res3: String = # Apache Spark

scala> textFile.count()

res4: Long = 95

scala> val textFilter = textFile.filter(line => line.contains("Spark"))

textFilter: org.apache.spark.rdd.RDD[String] = MapPartitionsRDD[6] at filter at <console>:29

scala> textFilter.count()

res5: Long = 17

scala> :help 可查看帮助，列出可用的命令

6、standalone模式部署

./sbin/start-master.sh

./sbin/start-slaves.sh

访问UI界面：

http://host2:7002/ MARSTER的UI界面

http://host1:7003/ WORKER的UI界面

http://host2:7003/ WORKER的UI界面

http://host3:7003/ WORKER的UI界面

此模式下，需要通过spark-submit脚本提交jar文件来提交自己写的spark程序代码。