天天看点

Spark源码分析 – SparkEnv

sparkenv在两个地方会被创建, 由于sparkenv中包含了很多重要的模块, 比如blockmanager, 所以sparkenv很重要 

driver端, 在sparkcontext初始化的时候, sparkenv会被创建

executor端, 在executor初始化时被创建

用于hold所有spark运行时的环境对象, serializer, akka actor system, block manager, and map output tracker等

scala使用伴生object当作类接口 

除了基本的get和set 

就是在createfromsystemproperties中创建了一堆很关键的对象