随着雲計算與大資料時代的來臨,很多大中型企業資料中心的空間密度呈現出快速增長态勢,。但是,随着資料中心運維對象的成倍增長,這很有可能使得企業的資産管理變得一團糟,這屬于資料中心生命周期内管理的範疇。
由數通的産品MDM基礎資料平台和ESB企業服務總線構成的。通過基礎資料治理方案建構主資料标準體系,為企業的經營決策提供資料支撐,同時還可以更全面助力企業數字化轉型。
背景介紹
通過對企業主資料進行全生命周期管理,充分挖掘出資料的價值,同時可以優化資料存儲結構。并且分離後的曆史資料,可以做到相對獨立的管理,可以為經營提供資料支撐。
1.應用場景說明
中國集團型的企業資訊化走過了漫長的過程,現如今進入了後資訊化時代,也就是數字化轉型的全新階段,在這一階段企業資訊化面臨着系統整合,優化IT架構,提升IT價值的新階段,而。
2.企業痛點分析
在資訊化建設推進的過程中,會暴露出例如:企業現有系統技術平台各異,資訊不同步,存在延遲;缺少統一資料管控、主資料治理平台,資料采集/同步困難、系統間資料口徑不一緻;報表分散未整合,品質偏低、無法及時展示全局業務的真實狀态營運等一系列問題,為了解決這些問題,我們亟需建設主資料治理平台,來賦能企業數字化轉型更新。
3.預期建設目标
針對以上出現的問題建立主資料管理平台,那麼主資料管理平台的預期建設目标都有哪些呢。首先就是實作共享,統一資料歸集,以此來消除資料孤島;其次是治理,統一資料內建,建立标準主資料體系和管理規範;最後就是共用,治理後的主資料可以為企業的資料分析提供資料支援,以此來為公司上司決策提供可靠的資料支援。
整體規劃
實作企業主資料的全生命周期管理的前提實作基礎資料治理,将雜亂的基礎資料治理為統一标準的主資料。在基礎資料治理的過程中也會有許多問題:資料散亂不完整,并且資料的品質差;沒有統一的管理視圖等。
1.方案架構介紹
企業在業務發展過程中沉澱了大量的資料,但是這些資料沒有為企業帶來直覺的價值,沒有形成企業的資料資産,是以越來越多的企業進入到了資料治理階段,對于主資料治理的需求越來越明确。
由MDM基礎資料平台和ESB企業服務總線組合而成的基礎資料治理方案可以打破各系統間的資料壁壘,連接配接不同的系統,形成統一規範的資料标準體系,實作企業業務內建和資料內建。MDM基礎資料管理平台是對主資料進行同步、清洗、治理、分發全生命周期的一次管理,幫助各個業務系統的主資料統一,保障它們的完整性、一緻性。
2.建設重點難點
同時要建立标準規範體系,包括管理規範、資料規範、內建規範,進而來保障實際應用過程中的對接和內建。對于組織體系也要進行管理,良好的組織架構,是資料治理分析項目成功的保證。最後就是要不斷強化知識技能的傳遞,也就是針對不同角色(從IT上司到業務人員)的教育訓練貫穿實施過程始終。
3.産品作用介紹
在基礎資料的管理過程中,通過ESB将企業基礎資料同步至MDM,或通過MDM進行基礎資料的錄入。之後在MDM進行資料清洗和日常維護等操作,最後将基礎資料通過我們的标準對接方式或通過ESB下發至其他業務系統中。
內建場景
在人工智能、大資料等技術發展和企業數字化轉型加速的雙重驅動下,基礎資料治理、建立主資料标準規範、實作主資料的全生命周期管理成為行業焦點。為此數通推出了基礎資料治理方案。
1.異構應用內建
ESB可解決,主要面向各個系統的業務資料,如财務單據、财務憑證、收/付款單、入庫/出庫單等。由業務系統提供标準化的業務單據接口,ESB将接口注冊到平台,建構API注冊中心,實作對API的管理、監控、測試、預警等,同時通過應用內建進行服務接口編排,實作系統單據的內建。
2.基礎資料治理
在MDM+ESB 構成的基礎資料治理方案中,以MDM為核心實作基礎資料的全生命周期管理,将各個業務中的基礎資料同步到MDM平台,并完成相關的資料清洗、統一、編碼等,再将治理後的資料分發到下遊系統,進而實作各個系統基礎資料的同源、統一、準确,。
3.建立标準體系
,資料申請和資料審批等流程将控制新增資料的标準化。同時通過對資料管控組織、流程、标準和技術支援的統一規劃設計,實作資料管控過程的高效運作和持續優化。而資料的标準化将使得企業内部的資訊共享、業務融合更加流暢,進而帶來工作效率的提高。
實施要點
簡單的來說資料全生命周期管理主要包括了從源頭資料抽取——資料清洗轉換——資料分發的全生命周期,進而形成資料生态閉環。通過對采集到的資料進行處理分析,再應用到營運中去,這樣才會發揮資料更大的價值。
1.資料采集同步
在大資料時代,企業不僅要采集企業内部資料(财務系統、HR系統、CRM、ERP等企業系統資料),同樣也需要采集外部資料(行業Web資料、競争對手的Web資料),。ESB會在各個業務系統中抽取基礎資料同步至到MDM中,再由MDM進行主資料治理。
資料處理的整個流程包括了資料存儲、資料标準、資料清洗、資料品質、中繼資料管理、ETL(抽取、加載、轉換)、資料模型設計等等過程的企業資料倉庫建設或資料庫建設。
在此過程中,ESB将多個業務系統中最核心的、需要共享的資料采集到MDM中,集中進行主資料的清洗和豐富,将分散、零亂、标準不統一的資料整合到一起建立主資料标準體系;合并來自多個來源的資料,建構複雜的連接配接和聚合。
資料的同步是從資料源頭系統擷取組織、人員、崗位、客戶、供應商等基礎資料資訊,通過ESB企業服務總線将資料同步至MDM主資料管理平台中,在主資料管理平台進行資料模型的建立、資料編碼的定制以及資料品質的管理等等,最後将幹淨的資料分發至有需求的各業務系統中。以人員主資料為例,在MDM主資料管理平台實作對人員主資料的管理首先需要清楚該類主資料的源頭系統,之後根據源頭系統的資料建立資料模型、功能模型,實作對人員主資料的管理、維護。
2.主資料的分發
将治理後的主資料通過标準對接方式或者企業服務/資料總線分發到所需的各個業務系統中,支撐業務系統、業務流程和決策。統一标準的主資料會大大降低內建過程中的難度,同時還能保證。
主資料管理将源頭業務系統同步過來的一條或者多條資料打包成資料任務并生成任務ID,各資料接收業務系統提供資料接收接口,該接口請求參數為任務ID,主資料管理平台提供任務ID解析接口、接口說明資料,各系統接收接口根據任務ID解析出任務内全部資料資訊并将資料同步至各系統中(也可以直接推送Json資料),同時将資料同步狀态資訊回寫至主資料管理平台。
3.基礎資料清洗
通過資料清洗功能下載下傳主資料導入模闆,源頭業務系統把資料填寫模闆中,通過資料清洗導入功能進行導入清洗,檢測出資料中欠缺的、重複的、不符合規則資料,通過導出功能把失敗的資料導出到Excel中進行資料處理後,再重新導入重新檢測直到所有資料成功為止,然後把所有成功的資料導出Excel中,傳回給業務源頭系統進行源頭系統的資料清洗(源頭系統添加主資料編碼映射),通過主資料任務分發把标準的資料分發給業務,這樣就把。
4.基礎資料巡檢
資料巡檢主要是用來保證資料的唯一性,通過巡檢功能來對資料進行查重處理來保證分發到下遊業務系統的資料是唯一的。目前MDM中相似度巡檢運算方式是根據多個字段的組合通過相似算法算出他們的相似百分比,然後檢視是否超過配置的百分比數字,如果超過就判定為相似資料,然後記錄到資料表中,還需添加新的品質校驗算法,通過結果值乘以不同字段的閥值再除以閥值的相加和得出的數字進行資料巡檢,巡檢支援結果Excel輸出,幫助客戶。
5.基礎資料校驗
資料品質是資料為産生業務價值和實作業務目标的基石。校驗規則主要是針對不同的屬性配置校驗方式,如非空、數字、唯一、長度等,主要是為了保證主資料的規範性、完整性,降低人工維護時産生的異常資料,進而提高資料品質,。
方案價值
通過基礎資料治理方案能夠實作對基礎資料的治理,建立統一的主資料标準體系,協助企業完成生産類主資料的全生命周期管理,在此基礎上推動業務的更新與發展。除此之外,基礎資料治理方案還能為建設統一內建底座方案與企業資料中台方案奠定基礎,并且的需求。
1.奠定資料架構
基礎資料治理方案能夠,單一系統變化對其它系統影響極小,符合未來業務發展需求。同時支援插拔式資訊應用擴充/替換,為後續建設統一內建底座方案以及資料企業資料中台方案奠定基礎架構。
通過基礎資料治理方案能夠有效減少資料交換、轉移所需的成本和時間,降低資料的備援度,提高資訊的有序化程度和存儲效率。,清洗企業内部備援資料,有效提升資料品質。
2.強化資料管理
基于标準的資料管理模型,實作基于資料平台的規則整合、統一定義和釋出等事務的集中處理。通過資料的審計支援,來保證資料變化經過嚴格的審批;通過資料管理的持續優化和績效改進,提升資料資産的管理成熟度。由此實作主資料申請、校驗、稽核、釋出、維護、變更、登出等全生命周期的業務管理,實時跟蹤和掌控資料的變化,建立資料的動态曆史庫,。
3.推進業務協同
確定企業核心系統(财務、OA、HR等)實作資訊系統互聯,;創造總部、區域公司、基層業務單元協作業務營運環境,助力企業戰略措施落地,達到企業業務全局一體化的管控。企業通過基礎資料治理實作對生産資料的全生命周期管理,并可以逐漸建立統一高效、資源整合、互聯互通、資訊共享、便捷查詢、實時監管的企事業内外一體化的資料決策分析平台—資料中台。
4.提升營運效率
實作統一的業務通路标準,保證相關業務目标系統資料的變更同步性,通過資料總線,以靈活、可持續的方式支援任何面向業務的規則集合,保證資料的唯一和規範,大幅降低資料的內建和共享成本。有效減少資料交換、轉移所需的成本和時間,降低資料的備援度,。
資料資訊化建設是一個持續的、動态的過程,通過對資料治理實作主資料的全生命周期管理。MDM能夠将業務系統中的基礎資料治理為主資料,為整個資訊系統提供統一标準的主資料,進而確定單一視圖的一緻性、完整性以及準确性。
MDM與其他産品構成不同的解決方案,以。通過內建中台實作企業資訊化的主資料治理、5A管控、應用內建等多方面需求;通過資料中台實作主資料治理,同時深度挖掘資料價值,将資料進行可視化展現,為企業的經營決策提供有力支撐。
本文由@數通暢聯原創,歡迎轉發,僅供學習交流使用,引用請注明出處!謝謝~