《Spark Cookbook 中文版》一1.6 在集群上使用Mesos部署Spark

本节书摘来异步社区《spark cookbook 中文版》一书中的第1章，第1.6节，作者： 【印度】rishi yadav（亚达夫）译者： 顾星竹 , 刘见康 责编： 胡俊英，更多章节内容可以访问云栖社区“异步社区”公众号查看。

mesos正慢慢崛起为跨数据中心管理所有计算资源的数据中心管理系统。mesos可以运行在任意一台linux操作系统的机器上。mesos与linux内核有着相同的配置原则。让我们看看如何安装mesos。

具体步骤

mesosphere提供mesos的二进制安装包。最新的mesos分布式安装包可以通过mesosphere库按照如下步骤安装。

1．在ubuntu操作系统的可靠版本上执行mesos。

2．更新库。

3．安装mesos。

4．连接spark到mesos上以整合spark和mesos，配置spark二进制安装包以适应mesos，并配置spark驱动以连接mesos。

5．把第一份教程中使用到的spark二进制安装包上传到hdfs。

6．mesos单主节点的主url是mesos://host:5050，如果使用zookeeper管理mesos集群的话，url是mesos://zk://host:2181。

7．配置spark-env.sh中的如下变量。

8．通过scala运行。

9．通过spark运行。

提示 mesos有两种模式。

fine-grained：在fine-grained模式（默认模式）下，每个spark任务以独立的mesos任务运行。

coarse-grained：在此模式下，仅会在每个mesos机器上发起一个长时间运行的spark任务。

10．如果想要修改模式为coarse-grained，配置spark.mesos.coarse。