《深入理解Spark:核心思想与源码分析》——3.13节创建DAGSchedulerSource和BlockManagerSource

本节书摘来自华章社区《深入理解spark:核心思想与源码分析》一书中的第3章，第3.13节创建dagschedulersource和blockmanagersource，作者耿嘉安，更多章节内容可以访问云栖社区“华章社区”公众号查看

3.13　创建dagschedulersource和blockmanagersource

在创建dagschedulersource、blockmanagersource之前首先调用taskscheduler的post-starthook方法，其目的是为了等待backend就绪，见代码清单3-53。poststarthook的实现见代码清单3-54。

创建dagschedulersource和blockmanagersource的过程类似于executorsource，只不过dagschedulersource测量的信息是stage. failedstages、stage. runningstages、stage. waiting-stages、stage. alljobs、stage. activejobs，blockmanagersource测量的信息是memory. maxmem_mb、memory. remainingmem_mb、memory. memused_mb、memory. diskspace-used_mb。

代码清单3-53　创建dagschedulersource和blockmanagersource