天天看點

在阿裡雲HPC上用容器服務一鍵部署和運作WRF解決方案

衆所周知,容器技術的出現深刻改變了軟體傳遞的方式:

靈活: 秒級應用啟動、輕量級隔離、細粒度資源控制、低性能損耗

标準化:版本管理可追溯。

可移植性: 環境無關的傳遞、部署方式;可用于軟體生命周期中不同運作環境。

這些能力不但影響了企業軟體的開發、建構和傳遞模式,提高了傳遞效率和可靠性,也對于像wrf(weather research forecast)這類大型開源氣象科學預報軟體産生了潛移默化的影響。美國國家大氣研究中心(ncar,也是wrf的開發方)于2016年開源了自己的容器化解決方案。 而阿裡雲hpc團隊和容器服務團隊在ncar方案的基礎上進行了改進和增強,在保持高性能的同時,友善您實作一鍵式的部署和運作wrf,将複雜的wrf工作變成一個高效,可控的自動化流程。

注: 為節省篇幅,會将美國國家大氣研究中心統稱為ncar

美國國家大氣研究中心(ncar)容器化wrf并非無痛呻吟,作為wrf的開發方,維護者和主要使用者,對于wrf這個在工業界和學術界得到廣泛使用的數值天氣預測軟體,ncar面臨這如下挑戰:

編譯和執行wrf非常複雜,需要專業的知識和大量的時間準備,很久才能得到結果

代碼量巨大

非常多的軟體依賴

配置容易出錯,很難排查

經常需要數周的準備才能将wrf運作起來并且得到結果

wrf本身的部署難度給基于mpi的wrf的高擴充性帶來了困難

wrf疊代迅速,而部署建構困難導緻許多公司和研究機構依然使用3.4.1版本的wrf,造成了極大的維護成本

初學者抱怨搭建wrf難度過大,對于軟體知識要求太高,導緻入門花的時間太多

研究者發現重制數值天氣預報的難度極大,因為機器不同,編譯器配置不同,以及複雜的配置和流程

而這些痛苦也是中國的wrf使用者遭遇到的,為了解決這個問題,阿裡雲容器服務給出以下解決方案:

整個方案分為下面幾個步驟:

通過容器鏡像标準化wrf的建構和配置,同時實作一次建構到處運作

-客戶可以直接使用阿裡雲dockerfile,也可以對其進行改進和替換

利用ossfs上傳wrf配置檔案,wps配置檔案, 氣象資料以及地理基礎資料,

利用容器服務一鍵式部署和wrf應用,并且将運作出的資料導出到oss上,并可以直接下載下傳

可以通過參數配置指定運作方式

利用容器服務一鍵式部署和運作ncl應用,将wrf運算出的結果通過ncl繪圖出來

在阿裡雲HPC上用容器服務一鍵部署和運作WRF解決方案

上圖所列的是通過阿裡雲提供高性能計算,容器服務和oss實作一鍵式的從資料到計算再産生資料的全過程。

這樣就可以看到氣象的走勢

在阿裡雲HPC上用容器服務一鍵部署和運作WRF解決方案
在阿裡雲HPC上用容器服務一鍵部署和運作WRF解決方案

可以看到,利用阿裡雲hpc和容器服務,您除了可以獲得高性能計算的洪荒之力,還可以簡單的掌控這種能力,降低使用門檻,真正實作彈性的高性能計算。利用阿裡雲的能力,我們可以在雲端快速的部署和執行氣象模拟應用,讓傳統的wrf應用煥發新的魅力。阿裡雲為氣象預測提供了豐富的基礎設施,從彈性計算、負責均衡到對象存儲,日志、監控等等。

具體來說:

幫助客戶建構标準化可追溯的容器鏡像

讓客戶很清楚自己在wrf上配置了什麼,并且很容易複制自己的配置

将系統建構過程透明化,整個架構可描述,降低運維成本,避免人員變化帶來的隐患

加快傳遞速度,縮短投産時間(從周到小時)

支援wrf應用的一鍵式部署和執行

無需提前軟體依賴,幾個小時内wrf就開始工作

支援本地和雲上建構和測試,保持一緻性

國際上wrf的版本演進非常迅速,緊跟國際潮流,保持更新速度

多種軟體及配置組合比較,最優性能選擇

繼續閱讀