【Spark Summit East 2017】用Yarn监控Scala和Python Spark工作的动态资源使用情况

本讲义出自<b>ed barnes与ruslan vaulin</b>在spark summit east 2017上的演讲，我们都害怕“失去的任务”和“容器由于超出内存限制被yarn关闭”的消息在spark yarn的应用程序出现的比例增多。甚至在分布式yarn环境中，回答“应用程序使用了多少内存?”这个问题都是非常棘手的。为观察spark的重要统计工作，包括executor-by-executor内存和cpu使用，jdk以及pyspark yarn容器中的python的部分，sqrrl已经开发了一个测试框架。