天天看点

《Scala机器学习》一一3.1 安装Spark

3.1 安装spark

《Scala机器学习》一一3.1 安装Spark

读者也可通过下面的链接下载完整的源代码来构建spark:

《Scala机器学习》一一3.1 安装Spark

命令将下载必要的依赖并在spark目录中创建spark-2.0.0-snapshot-bin-alex-spark-build-2.6-yarn.tgz文件,其版本是2.0.0,这是在写本书时最新的发行版本。一般来说,如果不是对最新功能感兴趣,不建议从主分支进行构建。如果需要一个发行版本,可以从相应标签迁出(checkout)。通过git branch -r命令可以获得有效版本的完整列表。spark*.tgz文件是在有java jre的计算机上运行spark所需的所有文件。

发行版本都带有docs/building-spark.md文件,它介绍了用于构建spark的其他选项,包括增量scala编译器zinc。完整的scala 2.11支持的功能会出现在spark 2.0.0的下一个版本中。

继续阅读