天天看點

基于時空大資料分析、挖掘與可視化高性能計算解決方案

基于時空大資料分析、挖掘與可視化高性能計算解決方案

高維資料 | 時空資料 

地震預警 | 地質勘探 

遙感測繪 | TransBigData

随着地質勘探、遙感測繪、地震預警、衛星遙感、疫情管控等的快速發展,自然資源領域的時空資料具有傳統管理資料與大資料交織、内向型管理資料與外向型公共服務資料疊加、資料開放與資料安全責任兼重的特點,包含了海量的資訊和豐富的應用場景。

國家上司人習近平曾指出,要從推動數字經濟發展、利用資料提升自然資源管理和國土空間治理水準兩個角度出發全面規劃和推進自然資源時空資料治理,充分發揮資料驅動力改造現有自然資源業務體系,推動自然資源資料成為重要生産要素。

基于時空大資料分析、挖掘與可視化高性能計算解決方案
基于時空大資料分析、挖掘與可視化高性能計算解決方案

國際時空資料

治理發展形勢

一、時空資訊擷取成為各種經濟社會發展的助推力

在世界主要國家的政府治理體系中,圍繞自然資源領域的時空資訊擷取已經成為非常重要的組成部分并在經濟社會發展中發揮着越來越重要的基礎支撐作用。特别是在疫情管控、改善政府資料治理和應對氣候變化方面發揮了關鍵作用。時空資訊使用者尤其是政府和軍事部門對準确、詳細、全面的時空資訊的需求越來越大。

據GW Consulting(地理資訊世界咨詢公司)估計,2021年全球地理資訊市場價值已達3950億美元,較2020年增長8.2%。預計2021-2025年,國際地理資訊産業産值将以14.61%的年複合增長率增長,到2025年将達到6800億美元。在戰略性公共政策改革、行業加速戰略以及數字孿生和元宇宙創新的驅動下,預計地理資訊産業将在2025年後以更快的速度增長,到2030年達到1.44萬億美元。

地理資訊技術對全球經濟的影響目前估計在2.2萬億至5.4萬億美元之間,到2025年将擴大到5.4萬億至10.2萬億美元。随着傳感器融合、元宇宙等新概念與時空資訊的互相賦能,時空資訊實際上已經成為整合分析各類資料的最佳載體和表達方式。

在政府和企業數字化轉型的背景下,時空資訊成為各國公認的重要資料資産,被廣泛擷取、挖掘和共享。世界主要國家紛紛啟動空間資料基礎設施建設。例如,美國時空資訊生産和使用部門組成聯邦地理資料委員會,以建立國家空間資料基礎設施(NSDI),歐洲于2007年開始建立歐洲空間資料基礎設施,以支援歐洲的環境政策。

Google、微軟、蘋果、Here等公司在自有生态下進行時空資訊的擷取,并以此作為公司掌握壟斷資源配置設定、擷取使用者依賴的重要環節。OpenstreetMap等衆包地理資訊資料的數量和品質也在不斷提升,部分地區的精度和資料鮮活度堪比官方權威資料。除了這些基本的時空資訊擷取系統之外,一些國家擷取的時空資訊也開始呈現出高精度、高投入、高回報的特點。

二、圍繞時空資訊擷取的基礎設施加快建設

随着時空資訊作為國家重要戰略資産的意識日益增強,圍繞時空資訊擷取的天空地傳感網以及資料中心和資料平台建設正在加速。在遙感衛星建設方面,目前世界主要國家都在繼續部署高分辨率的光學和雷達衛星,各類衛星協同工作,使全天候成像的能力進一步增強,遙感影像的擷取成本大大降低。

2020年,全球航天産業共研制發射了1277顆航天器,其中遙感衛星146顆,約占11.4%,其中分辨率優于1米的衛星超過50顆。目前,美國國家航空航天局、地質調查局和歐洲航空局通過陸地衛星體系和各類情報衛星系統收集了全球地表覆寫資料、數字高程模型和大量時間跨度超過30年的地理資訊。

其中,美國地質調查局的陸地衛星項目和歐洲聯盟的哥白尼項目提供了長長時序中高分辨率的圖像,這些圖像已用于各種災害模型建立、海洋預測系統以及環境和氣候監測。麥克薩、空客防務、Planet、L3哈裡斯等公司提供分辨率高于1m的商業遙感影像、合成孔徑雷達和微小衛星星座影像遙感影像長期占據全球影像市場主導地位。至于導航定位系統方面,GPS系統現代化程序加快,美國釋出了《7号太空政策指令》,強調GPS及其增強系統更好地服務于美國國家和國土安全、民用、商業和科學目的。GLONASS全球補網推進,2025年将采用新一代衛星。歐洲Galileo也完成了全球系統建設,具備了全球服務的能力。印度、南韓、澳洲和紐西蘭近年來也建立了區域導航增強系統。

為建構時空基準和提供時空動态感覺提供支援。導航地面增強系統方面,海克斯康、天寶、Geo++、SapCorda等傳統強勢企業憑借在晶片研發、基準站建設等領域的長期積累,在全球主要國家和地區建設了HxGN SmartNET、VRS NOW等導航定位基準站網。僅海克斯康和Geo++兩家在全球建立了近8000個GNSS基準站網,并在精準農業、建築施工、商業位置服務等應用領域實作了壟斷。關于時空公共服務平台,美國、日本等主要國家都在其法律體系中明确了國家地理資訊公共服務平台的法律地位,并在地理資訊公共服務平台建設方面取得了良好的成績。

三、時空資訊擷取及治理成為推動數字經濟發展的重要力量

數字經濟正在改寫和重構世界經濟版圖,成為重組全球要素資源、重塑全球經濟格局、改變全球競争格局的關鍵力量。在此背景下,各國和各地區紛紛釋出國家數字戰略,以促進社會經濟發展和政府治理。

在時空資訊領域,政府部門擷取和生成的時空資訊的高效利用,空間資料基礎設施的優化建設,政府和商業部門之間時空資料的流動和共享,成為政府數字治理體系建設中非常重要的環節。各國紛紛将地理資訊作為重要的國家戰略資産并把地理資訊的流動、利用和安全監管作為非常重要的工作方向。近年來,美國、歐盟和日本釋出了關于資料治理的法案和行動計劃。

其中,美國将地理資訊資料治理作為國家資料治理體系的重要一環寫入《聯邦資料戰略》及其相關行動計劃。《聯邦資料戰略》釋出的2020年和2021年行動計劃中對地理資訊資料治理做出了詳細、明确的部署,部署層級與人工智能在資料治理方面相同,可見美國政府對地理資訊的高度重視。具體來說,2020年行動計劃指出,負責地理資訊資料協調的美國聯邦地理資料委員會(FGDC)需要通過落實《地理資訊資料法案(2018年)》增強部門和公衆使用地理資訊資料的價值和通路權限,并制定國家空間資料基礎設施(NSDI)戰略計劃,確定聯邦和各州地理資訊資料能夠輕松內建。

與此同時,2020年行動計劃明确指出,白宮行政管理和預算辦公室的進階地理資訊官員(SAOGI)将幫助確定FGDC官員在相關資料監管機構任職,并促進地理資訊資料向聯邦部門的授權。同時,2020行動計劃規定,國家地理資訊平台(GeoPlatform)必須在確定國家利益和安全不受損害的前提下,提供國家地理資訊資産資料和相關中繼資料,并将資料和相關接口連接配接到美國國家資料平台Data.gov。

2021年行動計劃繼承了2020年的思路,提出FGDC應确定與聯邦政府首席資料官委員會(CDO Council)的聯絡員,以促進地理資訊資料在全國的綜合使用。與此同時,FGDC顯然應當完成一份關于地理資訊在國家空間基礎設施中的高價值投資領域的分析報告。

基于時空大資料分析、挖掘與可視化高性能計算解決方案
基于時空大資料分析、挖掘與可視化高性能計算解決方案

國内開展時空資料

治理的若幹建議

一、用數賦智,提升“以資料為中心”的資料治理意識

機構改革以來,在自然資源領域開展了資訊化建設工作的頂層設計,形成了相對穩定的技術體系和資訊基礎設施。但必須看到,自然資源時空資料不同主體、不同地域之間的數字鴻溝尚未得到有效彌合,資料資源規模巨大,但價值潛力尚未充分釋放,整個系統對如何真正管理和利用資料還沒有形成系統認知。

與此同時,資料安全也成為一個越來越值得關注的話題。目前自然資源有統一調查監測資料、規劃權屬資料、各類時空資料等藍海資源。在資訊化建設全面鋪開、各項業務系統逐漸落地的階段,需要在國家自然資源領域形成資料治理意識,并據此規劃資料治理的頂層設計非常有必要。

二、建立實體機構開展資料治理

資料不僅是一種狹義的治理對象,更是廣義的治理手段和工具。進行全周期的資料管理和治理,其背後本質是協調和平衡資料挖掘和轉化後形成的所有資料權力,并在此過程中維護所有資料權利,如财産權和人格權。

美國的實踐表明,為了監督和保護資料權利,需要擁有一個集中而強有力的資料上司核心和一支具有資料素養、資料視野和大資料分析能力的資料團隊,并賦予相應的行政職責和财政資金保障。首席資料官和資料治理委員會不僅承擔着開展資料品質評估、資料分析、資料管理以及系統和資料安全和隐私保護等職能,也是未來根據黨中央的要求開展資料安全監管的重要實體支撐機構。

三、開展具體工作進行時空資料治理

在頂層設計和實體機構的牽引下,美國各部門在自然資源的資料治理方面開展了多項具體工作,如建立資料治理委員會和空間資料協調委員會,根據《聯邦資料戰略成熟度評估指南》評估資料成熟度,梳理資料清單和優先級,以多種方式改善聯邦—州、政府—商業數協同等。國内外領先企業在資料治理方面形成了一些先進的做法(如監管資料全過程、建設資料中心、建立企業級中繼資料管理機制等)。自然資源部應及時對這些具體工作進行技術跟蹤和研判,在確定資料安全的前提下,選擇符合自然資源領域資料特點的做法開展前期研究和試點,及時有效地管理自然資源資料。

基于時空大資料分析、挖掘與可視化高性能計算解決方案
基于時空大資料分析、挖掘與可視化高性能計算解決方案

藍海大腦

時空資料解決方案

觀測衛星監測地球表面的變化,為土地利用規劃、災害支援、氣候變化監測等方面的資料。深度學習用于檢測圖像中的對象,這是一項複雜的視覺任務。藍海大腦面向時空領域大資料智能分析解決方案提供最新深度學習算法和方法所需的計算性能。

對于城市建築、交通汽車、船泊港口、機場物流、森林植被、水體大壩等資訊,使用地理空間對象檢測。與決定圖像主題的圖像分類不同,物體檢測不僅描述圖檔中的内容,還描述那些物體在哪裡以及能看到多少。圖像中的對象通常包含不同的邊界,并且獨立于圖像的背景環境和景觀對象。

基于時空大資料分析、挖掘與可視化高性能計算解決方案

航空和衛星圖像提供可以使用機器學習技術處理的資料,用于地理空間目标檢測。這将資料轉化為可以在廣泛的現實應用程式中使用的洞察力,包括:

  • 環境監測
  • 地質災害檢測
  • 土地利用規劃和土地覆寫測繪
  • 地理資訊系統(GIS)更新
  • 精準農業
  • 城市規劃

地理空間目标檢測并不容易。這是一個複雜的問題,需要複雜的人工智能和機器學習方法。其複雜性的原因包括物體視覺外觀的巨大變化、在弱光照下拍攝的航空圖像的低分辨率以及樹木或建築物對物體的阻礙。即使如果一個物體沒有被阻擋,可能會被圖像視點、背景雜波、照明或陰影的變化所掩蓋。所有這些因素使這個問題更加困難。

圖像中物體的計算檢測有三種方法:

  • 模闆比對方法
  • 基于知識的方法
  • 基于對象的圖像分析(OBIA)

這三種方法可以單獨使用,也可以一起使用,構成了最常用的目标檢測系統的基礎。

基于時空大資料分析、挖掘與可視化高性能計算解決方案

一、行業所面臨的挑戰

模型通用性弱

遙感圖像具有星多、地廣、時相多等特點,解譯模型的泛化能力和魯棒性不足

AI人才不足

遙感解譯應用場景日益豐富,AI人才相對缺乏。亟需針對業務人員的教育訓練和與之配套的遙感解譯訓練平台作為支撐。

分析次元單一

純粹依據遙感影像的分析,無法全面反映城市發展變化的全貌,尤其是背後的人口、産業、環境以及大衆關注情感等時空變化資訊。

二、功能要求

  • 支援對時空環境資料的知識模組化、知識抽取、知識融合、知識推理等功能,能夠對知識進行三元組形式表示。
  • 支援對時空環境資料的實體抽取、關系抽取、屬性抽取等功能,實作單目标或多目标的知識關聯,能夠進行知識聚合和知識修正。
  • 支援對時空環境資料知識的實體比對、關系比對、屬性比對等歸一化、标準化功能。
  • 支援基于時空環境資料知識的學習、實體推理、關系推理、模式歸納等分析挖掘隐含的知識功能。
基于時空大資料分析、挖掘與可視化高性能計算解決方案

三、産品特點

時空資料柔性生産

基于深度學習的時空資料水冷工作站排程能力實作光學遙感、實景三維柔性資料,使得生産效率提升100%以上

高品質時空資料

全球影像100ms調用時延,保障影像通路極緻體驗;全球基準特征庫,保障影像高品質

應用服務化加速

時空資料液冷伺服器技術助力建構以SAAS和API為主的空間資訊新産品、新服務,加速應用功能持續疊代增強

高可靠保障

專業的深度學習的時空資料庫、中間件層、應用層多級高可靠設計,提供業務高可用保障

基于時空大資料分析、挖掘與可視化高性能計算解決方案

四、時空資料平台架構圖

基于時空大資料分析、挖掘與可視化高性能計算解決方案

五、客戶收益

宏觀與微觀綜合分析

遙感解譯提供城市宏觀布局分析,時空大資料分析提供區域微觀人群、交通、産業等分析。

多模特征融合