AI平台-Spark引擎架构

1. 背景

2.spark内核结构

2.1 重要组成部分

1、Application

2、spark-submit

3、Driver

4、SparkContext

5、Master

6、Worker

7、Executor

8、Job

9、DAGScheduler

10、TaskScheduler

11、ShuffleMapTask and ResultTask

2.2 Spark工作流程简要