天天看點

雲計算發展程序中的六大關鍵技術

雲計算是以資料為中心的一種資料密集型的超級計算。在資料存儲、資料管理、程式設計模式、并發控制、系統管理等方面具有自身獨特的技術。

海量分布式存儲技術

為保證高可用、高可靠和經濟性,雲計算采用分布式存儲的方式來存儲資料和備援存儲的方式來保證存儲資料的可靠性,進而提供廉價可靠的系統。為了滿足大量使用者的需求,資料存儲技術必須具有高吞吐率和高傳輸率的特點。

雲計算的資料存儲系統主要有google gfs(google file system)和hadoop開發團隊的開源系統hdfs(hadop distributed file system)。大部分it廠商,包括yahoo、intel的“雲”計劃采用的都是hdfs的資料存儲技術。

  并行程式設計模式

為了高效地利用雲計算的資源,使使用者能更輕松地享受雲計算帶來的服務,雲計算的變成哦是必須保證背景複雜的并行執行和任務排程向使用者和程式設計人員透明。雲計算采用mapreduce程式設計模式,将任務自動分成多個子任務,通過map和reduce兩部實作任務在大規模計算節點中的排程與配置設定。

  資料管理技術

雲計算系統對大資料集進行處理、分析,向使用者提供高效的服務。是以,資料管理技術必須能夠高效地管理大資料集。其次,如何在規模巨大的資料中找到特定的資料,也是雲計算資料管理技術所必須解決的問題。雲系統的資料管理往往采用列存儲的資料管理模式,保證海量資料存儲和分析性能。雲計算的資料管理技術最著名的是googe的bigtable資料管理技術,同僚hadop開發團隊開發了累死bigtable的開源資料管理子產品hbase。

分布式資源管理技術

在多節點并發執行環境,分布式資源管理系統是保證系統狀态正确性的關鍵技術。系統狀态需要在多節點之間同步,關鍵節點出現故障時需要遷移服務,分布式資源管理技術通過鎖機制協調多任務對于資源的使用,進而保證資料操作的一緻性。google的ghubby是最錐你給的分布式資源管理系統。

  雲計算平台管理技術

雲計算資源規模龐大,一個系統的伺服器數量可能會高達十萬台并跨越幾個坐落于不同實體地點的資料中心,同時還運作成百上千種應用。如何有效地管理這些伺服器,保證這些伺服器組成的系統能提供7*24小時不間斷服務是一個巨大的挑戰。雲計算系統管理技術是雲計算的“神經網絡”,通過這些技術能夠是大量的伺服器協同工作,友善地進行業務部署和開通,快速發現和恢複系統故障,通過自動化、智能化的手段實作大會磨系統的可營運、可管理。google通過其卓越的雲計算管理系統維持着全球上百萬台pc伺服器協同、高效地運作,起雲計算系統管理技術也被作為企業核心機密,至今沒有公布任何技術資料。

綠色節能技術

雲計算技術降低了伺服器的采購成本,進而使電源消耗所帶來的營運成本成為雲計算計算中心的主要開支之一,為了進一步降低成本,雲計算的先去在綠色節能技術上進行了大量探索。

傳統資料中心空調冷卻的費用約占整體電費的30%—70%,google為了節省能源,在比利時的資料中心降溫系統無需冷卻劑,而是采取額室外空氣進行自然冷卻。根據比利時的氣候條件,每年隻有7天左右無法使用自由冷卻方式。在比較炎熱的夏天,google可以通過雲計算管理系統将該資料中心的計算任務轉移到其他資料中心中。