變而不變：我看分布式系統發展和阿裡實踐

大資料計算服務(maxcompute)是一種快速、完全托管的pb/eb級資料倉庫解決方案。具備萬台伺服器擴充能力和跨地域容災能力，是阿裡巴巴内部核心大資料平台，支撐每日百萬級作業規模。

maxcompute向使用者提供了完善的資料導入方案以及多種經典的分布式計算模型，能夠更快速的解決使用者海量資料計算問題，有效降低企業成本，并保障資料安全。

相對而言，reshuffle資料需要落盤，因為resuffle把多個機器聯系起來，出錯機率大大增加。但是落盤大大降低了系統的性能，如果隻是簡單用network的方式來shuffle資料，則不能容錯。

而maxcompute采用network-disk的可自适應性的channel來進行data-shuffle。

在maxcomputeapi取舍中，二八原則展現得十分明顯。流計算使用者80%對latency更為看重，批處理使用者80%對throughput更為看重，我們bi系統希望服務好高頻的20%的資料，使得80%的通路都達到毫秒級。

系統設計中常用方法有：空間換時間、時間換空間、api層次設計、系統中層次法。maxcompute數倉采用階層化設計方法。一緻性變強，容量變小，吞吐性能變小，成本變高，問題規模變小。