天天看點

Spark 源碼分析 -- Task

task是介于dagscheduler和taskscheduler中間的接口 

在dagscheduler, 需要把dag中的每個stage的每個partitions封裝成task 

最終把taskset送出給taskscheduler

用于記錄taskmetrics和在task中用到的callback

比如對于hadooprdd, task完成時需要close input stream

對應于result stage直接産生結果

對應于shufflemap stage, 産生的結果作為其他stage的輸入

用于封裝一個stage的所有的tasks, 以送出給taskscheduler

繼續閱讀