【Spark Summit East 2017】用Yarn監控Scala和Python Spark工作的動态資源使用情況

本講義出自<b>ed barnes與ruslan vaulin</b>在spark summit east 2017上的演講，我們都害怕“失去的任務”和“容器由于超出記憶體限制被yarn關閉”的消息在spark yarn的應用程式出現的比例增多。甚至在分布式yarn環境中，回答“應用程式使用了多少記憶體?”這個問題都是非常棘手的。為觀察spark的重要統計工作，包括executor-by-executor記憶體和cpu使用，jdk以及pyspark yarn容器中的python的部分，sqrrl已經開發了一個測試架構。