Standalone-client|cluster

Standalone-client

1.任务提交

./spark-submit 	
	--master spark://node1:7077 	#master在那个节点上
	--deploy-mode client 		#任务提交方式，client cluster两种，不写的情况下默认是client
	--class org.apache.spark.examples.SparkPi 	#类名
	../examples/jars/spark-examples_2.11-2.3.1.jar #类所在的jar包
	1000 #可写可不写，1000个application执行
           

2.执行流程图

3.执行流程

3.1 客户端提交任务Application，并开启Driver
3.2 Driver向Master申请Application需要的资源
3.3 在Master返回对应的资源后，Driver会将任务task发送到对应的worker上执行
3.4 Worker将task的执行结果返回给Driver
           

4.注意：

client使用与任务测试阶段。Driver是在客户端启动的，即提交任务的节点。在Driver端可以看到任务的执行流程和任务结果。在生产环境不能使用，如果有一百个application提交到集群，则会有100个Driver在客户端执行，每个客户端都会与任务有交互，这样就会使客户端的流量急剧增加。

Standalone-cluster

1.提交任务

./spark-submit 	
	--master spark://node1:7077 	#master在那个节点上
	--deploy-mode cluster 		#任务提交方式，client cluster两种，不写的情况下默认是client
	--class org.apache.spark.examples.SparkPi 	#类名
	../examples/jars/spark-examples_2.11-2.3.1.jar #类所在的jar包
	1000 #可写可不写，1000个application执行
           

2.任务执行流程图

3.执行流程

3.1 客户端提交任务Application
3.2 向Master申请启动Driver
3.3 Master会随机找一台任务不忙的节点启动Driver
3.4 Driver会向Master申请Application需要的资源
3.5 Driver将申请的worker分发task
3.6 Worker将任务执行情况和执行结果返回给Driver
           

4.注意

Driver是分散在集群中的，这样客户端的网卡流量激增问题就被解决了。但这时在客户端则无法查看到任务的执行情况

Driver与集群之间的通信

1.Driver向Master资源的申请

2.Driver向Worker分发任务

3.Worker向Driver汇报任务运行情况

4.Worker向Driver汇报任务结果