直达最佳实践:【 Spark on ECI大数据分析】
最佳实践频道:【
点击查看更多上云最佳实践
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!
场景描述
Spark作为快速、通用的大规模数据处理平台,更多关注Spark Application的管理,底层实际资源调度和管理更多的是依靠外部平台的支持例如Mesos、YARN、Kubernetes等。借助阿里云的容器服务Kubernetes版(ACK)、弹性容器组实例(ECI)、文件存储HDFS或者对象存储OSS提供灵活弹性计算资源弹性可扩展、计算与存储分离架构、成本可控的Spark on ECI解决方案实践。
解决问题
- 计算资源弹性能力不足,计算资源成本管控能力欠缺
- 集群资源调度能力和隔离能力不足
- 计算与存储无法分离,大数据量分析时出现数据存储资源瓶颈
- Spark submit方式提交分析作业参数支持有限等缺点
产品列表
- 容器服务Kubernetes版(ACK)
- 弹性容器实例(ECI)
- 文件存储HDFS
- 对象存储OSS
- 专有网络VPC
- 容器镜像服务ACR