本讲义出自<b>jong wook kim</b>在spark summit east 2017上的演讲,主要介绍了cuesheet,一个围绕着spark构建的开源框架,能够对于spark应用程序的开发进行加速。
在spark应用的开发中至关重要,但是并不是很有趣的一部分就是对应用进行打包,尽管有很多像zeppelin 以及databricks这样的笔记本式的交互环境,但是对于存在很多严重依赖的正式项目而言,经常存在将spark项目作为单独的scala版控制树进行管理。为了应对这些,官方文档告诉我们使用sbt或maven插件组装的胖jar包并且运行spark-submit脚本,但是这将明显减慢开发周期。cuesheet无需打开终端就可以对于spark应用进行打包、提交和部署,并且可以帮助开发者方便地进行编程和调试。