【雲栖号案例 | 能源】東潤環能利用MaxCompute資源確定資料在雲端也可以萬無一失

雲栖号案例庫： 【點選檢視更多上雲案例】 不知道怎麼上雲？看雲栖号案例庫，了解不同行業不同發展階段的上雲方案，助力你上雲決策！

公司簡介

我們北京東潤環能科技股份有限公司是一家從事新能源電力領域的資料資訊服務公司，公司的經營聚焦為：新能源産業大資料應用與投資服務領跑者！我們東潤環能開創之初，提供了新能源發電功率預測系統、電網排程管理與支援系統、新能源城市規劃與咨詢服務等基礎性産品，并逐漸打造三大新能源網際網路智慧服務生态圈平台，包括新能源投資開發生态圈第一平台、綠色電力交易與智慧用能生态圈第一平台、新能源資産智慧營運生态圈第一平台，在新能源産業金融領域将打造新能源産業資料挖掘投資服務系統。

我們公司作為新三闆首批進入創新層的上市企業，基于專業的氣象環境技術、空間環境技術及大資料技術每天為全國數千家新能源電站提供風光項目現場功率預測，為省級及地級排程部門提供專業氣象服務和大資料應用；并通過電網側為全國500餘家新能源子站提供控制政策并執行控制指令。旗下産品及業務開拓均基于對大資料的挖掘應用。

問題及挑戰

作為我們東潤環能全資子公司北京能量魔方資料技術有限公司開發的“能量魔方”，将大資料為代表的網際網路創新理念與新能源發展當中的切實應用需求結合起來，推動虛拟世界和現實世界融合發展，促進新以行業生産、管理、經營模式變革，重塑産業價值鍊。但就在這個能夠造福一方的研發過程中，東潤環能卻遇到了不小的問題。正如東潤環能技術研發部總監王雲所言，要分析出個地方可再生資源的資訊，必然涉及巨大的資料分析，我們公司在決定建設大資料平台項目之初，就在是否自建系統上犯了愁。

自建大資料平台存在以下問題：

• 投資成本過高。

  在資料分析平台項目啟動之初，我們公司已經存儲将近40TB的資料，且這一資料随着我們公司業務的發展還在逐年增加，如果自建系統從投入、時間、人力等綜合成本考慮都不合适。在IDC中心自建大資料平台（如Hadoop叢集）要充分考慮實體投入，人力運維投入，研發投入，業務波動等多方面的影響。一方面，硬體投入成本增加，需要根據業務的峰值來考慮硬體的投入；另一方面，人力成本也在增加，項目實施複雜度、應用開發及維護難度提高。總體上來說，實施大資料平台（如Hadoop叢集）項目需要伺服器、存儲和網絡管理、Hadoop叢集搭建和維護管理以及Hadoop應用開發的三大類技能，項目實施複雜度高、項目技術人員的技術要求高、人才難獲得、人力投入高。

• 運維複雜，成本增加

  單純以目前較為成熟的離線計算來看，Hadoop生态體系提供的MapReduce等性能較好。但是，此時Hadoop叢集的性能嚴重依賴于虛拟機所提供的I/O性能、網絡帶寬以及系統穩定性等因素的限制。自建大資料平台基礎設施，對于東潤環能現有的人力物力比較而言，風險還是較大。另一方面，如此龐大的系統，需要運維人員同時對軟、硬體做維護，專人維護提高了系統的使用成本；對系統足夠了解，同時還需要兼顧不同系統間的版本相容性問題，這些都需要非常專業的技術人員對多款開源産品進行維護。無形中不僅增加運維成本，更增加了穩定風險。

這些問題接踵而至，對于傳統IT來說，大資料分析和雲計算技術的引入無疑是一種巨大的業務壓力和技術挑戰，想要全部搞定必須上馬大系統，雇傭高端專業人才，而這就意味着大投入、大團隊。另一方面，傳統公有雲雖然從理論上也能夠支援這樣的業務，但國内公有雲應用普遍集中在網際網路領域；對于這樣的新興應用來說缺乏相應的技術接口和運維管理軟體支援。

解決方案

新能源産業網際網路大資料應用服務雲平台是我們公司應用能源網際網路大資料理念開發建設的新能源電力大資料應用服務平台，內建氣象、地理、裝置、金融等各類資料，能夠實作為包括政府、金融企業、電力投資企業、機械裝置企業、設計院等不同類型參與者提供大資料分析和資訊服務。此平台定位為大資料資訊SaaS服務平台，提供在大資料基礎上建設的各種服務和應用工具，目前規劃有八個子產品，分别為：資源評估、氣象服務、裝置選型、營運管理、設計規劃、專業技術、項目評估、金融服務。

• 資料中心

  我們公司新能源部門使用大資料分布式檔案存儲及并行計算技術，此前采用了Hadoop叢集對海量氣象資料進行存儲及計算處理。

• 應用平台

  項目采用基于JavaEE标準的、我們公司自主研發的E3雲平台開發Web應用，基于超圖的GIS平台軟體搭建GIS應用服務平台提供地圖展示服務，采用高性能計算叢集部署自主氣象計算服務平台，自主計算覆寫全國、指定分辨率、指定年限的氣象資料。

• 部署平台

  通過采用某傳統IT廠商公有雲服務平台的虛拟機部署Web應用，自主搭建負載均衡服務支援高并發高性能通路；采用關系型資料庫進行業務應用資料存儲管理；采用對象存儲存儲海量氣象資料進行資料存儲管理，可根據業務需要選擇存儲曆史10、20、30年的曆史氣象資料；自主搭建Hadoop分布式計算技術對海量資料進行分析處理，按照經緯度、所在位置的氣象資料生成統計資料，也可以對曆史氣象資料等做更多元度的資料挖掘。

為了摸索出一套真正适合中國國情的新能源資料應用服務方案，雲計算和大資料技術成為了東潤環能創新的重要手段。而經過了各方面測試和挑選，我們公司最終選擇了阿裡雲作為合作夥伴。而讓我們公司選擇阿裡雲的原因，除了阿裡雲強大的雲平台能力之外，還有阿裡雲數加MaxCompute的全方位服務能力及其穩定安全的表現。另外，我們雙方聯合推出針對新能源的專屬資料服務産品：資源評估、氣象服務、高精度資料下載下傳三項氣象資料産品；部分産品已經通過阿裡雲數加資料服務市場對外售賣。

上雲價值

• 讓企業專注業務

阿裡雲雲計算平台允許東潤環能在擁有少量IT設施的同時，在我們公司上線大資料平台時間緊任務急的情況下，用了不到3個月時間，就将業務全面的傳遞雲端，讓雲端的海量資源真正為業務服務。而阿裡雲成熟的業務擴充方案也讓我們公司在業務無縫擴充等具體事務上無需操心太多。

從性能來看，阿裡雲數加MaxCompute最新的2.0版本在TPCH測試中，比Hive 2.0+Tez快90%。直接部署于實體機的阿裡雲數加MaxCompute服務也排除了虛拟機對分布式下高I/O吞吐量，高網絡流量的不良影響。此前我們公司租用虛拟機，在虛拟機上自行搭建hadoop叢集用于分析當天生産的氣象資料，由于運作效率低，每天資料處理需要至少3個小時以上；于2016年5月份開始将資料遷移至阿裡雲數加平台；目前每天資料處理僅需要1個小時就可以完成，處理時間僅僅不到原來的1/3。

最重要的是采用阿裡雲數加，我們公司将所有精力都放在業務上，節省了自建機房在學習成本、開發成本、管理成本、投入機房資源和運維成本的總成本，相比自建Hadoop實體叢集，使用阿裡雲數加MaxCompute的總成本有較大降低，應用開發效率有很大提高。顯然，一家新能源像網際網路企業擁有強大的IT能力是一件不容易的事。而阿裡雲則提供了全面的服務支援，阿裡雲除了最基礎的資源池化之外，還提供衆多進階管理功能，友善我們公司所産生的海量資料的有效管理和快速處理。

由于在我們公司資料平台過程中應用了阿裡雲數加MaxCompute，完全不需要關注伺服器和網絡管理，也不需要關注分布式叢集軟體的維護管理。基于阿裡雲數加MaxCompute提供的開放接口和各類工具，以及一站式的大資料開發套件，項目實施難度低，讓開發者将精力全部放在資料處理、分析和應用上，極大的降低大資料應用開發的技術難度。而阿裡雲平台所提供的7×24小時技術支援服務則可以讓我們公司随時随地獲得專業的技術支援，讓IT不再成為業務發展的限制。

• 安全穩定

基于阿裡雲在關鍵業務領域多年的積累，阿裡雲提供安全可靠的雲解決方案。阿裡雲數加MaxCompute通過多重安全沙箱防護作用，同樣起到了保護使用者系統安全的目的，其安全性并不低于簡單的實體隔離。更重要的是，阿裡雲數加MaxCompute提供的多種安全機制能夠支撐阿裡巴巴集團上萬員工同時工作于同一套服務。對資料權限有非常高的管理及防護能力。

在穩定性上，阿裡雲數加MaxCompute作為一款存Serverless服務。不需要使用者關心任何硬體、軟體維護問題。阿裡雲數加專業的運維及開發團隊為使用者免除這些困擾，且所有工作對使用者透明。依托于阿裡雲在安全性方面有全面考慮的底層平台和衆多的安全監控工具，我們公司的各類應用資料即使放在雲端也可以確定萬無一失。而這些寶貴的資料正是我們公司核心競争力的來源。

相關産品

• 大資料計算服務 · MaxCompute

  MaxCompute（原ODPS）是一項大資料計算服務，它能提供快速、完全托管的PB級資料倉庫解決方案，使您可以經濟并高效的分析處理海量資料。

更多關于阿裡雲MaxCompute的介紹，

參見MaxCompute産品詳情頁

。

• 雲伺服器ECS

雲伺服器（Elastic Compute Service，簡稱ECS）是阿裡雲提供的性能卓越、穩定可靠、彈性擴充的IaaS（Infrastructure as a Service）級别雲計算服務。雲伺服器ECS免去了您采購IT硬體的前期準備，讓您像使用水、電、天然氣等公共資源一樣便捷、高效地使用伺服器，實作計算資源的即開即用和彈性伸縮。阿裡雲ECS持續提供創新型伺服器，解決多種業務需求，助力您的業務發展。

更多關于雲伺服器ECS的介紹，

參見雲伺服器ECS産品詳情頁

• 負載均衡SLB

負載均衡（Server Load Balancer）是将通路流量根據轉發政策分發到後端多台雲伺服器（ECS執行個體）的流量分發控制服務。負載均衡擴充了應用的服務能力，增強了應用的可用性。

更多關于負載均衡SLB的介紹，

參見負載均衡産品詳情頁

• 雲資料庫RDS MySQL版

MySQL 是全球最受歡迎的開源資料庫之一，作為開源軟體組合 LAMP（Linux + Apache + MySQL + Perl/PHP/Python）中的重要一環，廣泛應用于各類應用場景。

更多關于雲資料庫RDS MySQL版的介紹，

參見雲資料庫RDS MySQL版産品詳情頁

• 對象存儲OSS

阿裡雲對象存儲服務（Object Storage Service，簡稱 OSS），是阿裡雲提供的海量、安全、低成本、高可靠的雲存儲服務。其資料設計持久性不低于 99.9999999999%（12 個 9），服務設計可用性（或業務連續性）不低于 99.995%。

更多關于對象存儲OSS的介紹，

參見對象存儲OSS産品詳情頁

• DataWorks

DataWorks是一個提供了大資料OS能力、并以all in one box的方式提供專業高效、安全可靠的一站式大資料智能雲研發平台。 同時能滿足使用者對資料治理、品質管理需求，賦予使用者對外提供資料服務的能力。

更多關于阿裡雲DataWorks的介紹，

參見DataWorks産品詳情頁

【雲栖号線上課堂】每天都有産品技術專家分享！

線上課堂位址：

https://yqh.aliyun.com/zhibo

立即加入社群，與專家面對面，及時了解課程最新動态！

【雲栖号線上課堂 社群】

https://c.tb.cn/F3.Z8gvnK