銀行大資料新玩法，建構“一湖兩庫”金融資料湖

摘要：煙囪式的資料平台建設導緻“資料孤島”，“一湖兩平台”的金融資料湖讓大資料發揮最大的業務價值。

大資料技術經過近幾年的快速發展，在企業資料中心的基礎設施上已不鮮見，尤其是金融行業，大資料技術應用一直走在其它行業前面，它們在以資料湖、融合數倉、湖内數倉（Data LakeHouse）等一些典型的技術場景中，逐漸将大資料生态技術應用到金融企業的風險控制、營運管理、信貸查詢、信用卡征信和财務分析等領域。

另一方面，大資料雲服務化已經提了很多年，但是目前多數大資料平台的服務能力依舊很弱，很多企業的大資料平台僅承擔跑批業務，除了IT崗位的使用者之外，其它的業務崗位根本感受不到大資料的存在，更談不上通過從大資料技術設施得到業務的收益。

其本質原因是大資料基礎平台軟體并不具備雲服務化的基礎能力。

大資料的各個元件成為一種服務化的形态，主要是将一個大資料中心的服務能力進行虛拟化，多個使用者群體可共用服務能力，單個使用者群體有類似獨占的使用體驗，而且随着使用者群體規模和類别的增加，資源可以輕量化彈性伸縮，自動發放與回收，底層基礎架構的耦合比較輕，甚至解耦。

在這種架構下，使用者的需求，可以更快地被響應和實作。

因為雲原生技術可以有效地縮短應用傳遞的周期，讓需求更快落地，最終為使用者服務，動态實作價值。

是以，一個本地建設的大資料中心往往需要大量的資金、人力的投入，為單個使用者群體建立專用中心是不現實的，是以大資料服務的雲化在這些場景很有價值，也可能是必須的選擇。

在目前的雲計算産業商業模式下，未來金融企業的大資料基礎設施向公有雲或者混合雲部署模式轉變成為必然，随之而來的是使用者對雲服務提供商的合規和資訊安全的要求會進一步提高。

當大資料被賦予雲原生的含義後，大資料的真正業務價值才會逐漸綻放，大資料固定資産投資才能真正變現，進而讓更多的領域從大資料中獲益，全面提升大資料的投資回報率。

全行各業務線資料量不斷增加，業務側對資料需求非常迫切，舊有的模式是業務提需求給開發中心，開發中心安排開發資源管道，大量的需求積壓，甚至由于開發周期太長導緻需求已經沒有了實際意義。

另外行内煙囪式的資料平台建設導緻“資料孤島”，給開發人員帶來大量的資料拉取和整合的工作量。耗費了大量的人力物力以及時間，還導緻了業務側的投訴和抱怨，工作效率嚴重滞後。從投資成本來看，業務倒逼IT的煙囪式的資料平台的投資建設，耗費了龐大資金和人力投入，協同效能的提升問題凸顯。

通過引入華為雲EI智能資料湖FusionInsight提供的MRS+DWS大資料雲服務化産品，将行内的基礎資料需求按照業務劃分為資料湖、資料倉庫和集團資訊庫，即“一湖兩庫”為核心，通過不同的資料處理手段将資料持久化；通過華為MRS和DWS産品提供的元件将主流的資料處理引擎內建在大資料服務雲平台中；再将這些資料服務以租戶管道方式作為接口開放，例如“資料集市”、“損益預查詢”，最後使用者通過自助或者固定的應用服務管道來獲得大資料服務，如“分析師工作台”。

平台全部嘗試采用全國産化技術，基于ARM技術伺服器和華為MRS産品建構了1000+節點的大資料雲化服務叢集。

在行内的大資料服務雲場景中，真正提供服務核心的是一個全行共用的大資料基礎平台（MRS+DWS），使用服務的是多個不同的使用者群體，各使用者群體以租戶形式互相隔離（租戶管道層），單個租戶在限定的範圍内使用大資料的服務。

如上圖，大資料服務雲平台提供使用者自服務的管道，例如風險計量或者分析師工作台。使用者自行管理租戶資源池内可用的資源、資料等内容。在使用過程中平台提供使用者的驗證、通路的管控、審計，對資源使用的計費等衍生問題的處理。

将大資料基礎平台在雲化基礎設施上的部署，使得大資料系統降低了建設、部署、運維等環節的投入，展現在在多個租戶間平攤大資料中心的建設、運維成本，提高大資料中心的使用效率。

而且基于存算分離的架構部署，有效的節約了存儲成本，真正做到資源的“按需配置設定”。

對于單租戶，省去了維護大資料系統帶來的龐大資金和人力投入，使得大資料系統降低了建設、部署、運維等環節的使用門檻，助力普通員工輕松使用大資料應用。

華為雲828企業上雲節将帶來更低的雲上部署成本，你還在等什麼？

點選關注，第一時間了解華為雲新鮮技術~