直達最佳實踐:【 EMR本地盤執行個體大規模資料集測試】
最佳實踐頻道:【
點選檢視更多上雲最佳實踐
這裡有豐富的企業上雲最佳實踐,從典型場景入門,提供一系列項目實踐方案,降低企業上雲門檻的同時滿足您的需求!
場景描述
阿裡雲為了滿足大資料場景下的存儲需求,在雲上推出了本地盤D1機型,這個系列提供了本地盤而非雲盤作為存儲,提高了磁盤的吞吐能力,發揮Hadoop的就近計算優勢。阿裡雲EMR産品針對本地盤機型,推出了一整套的自動化運維方案,幫助使用者友善可靠地使用本地盤機型,不需要關注整個運維過程同時資料的高可靠和服務的高可用。
解決問題
1、雲盤多份備援資料導緻成本高
2、磁盤吞吐量不高
3、節點的高可靠分布問題
4、本地盤與節點的故障監控問題
5、資料遷移時自動決策問題
6、自動故障節點遷移與資料平衡問題
産品清單
- EMR(E-MapReduce)
- 本地盤
- VPC