天天看點

銀行業上雲進行時,OLAP 雲服務如何解決傳統數倉之痛?

作者:Kyligence

本文節選自《中國金融科技發展概覽:創新與應用前沿》,從某國有大行建構大資料雲平台的實踐出發,解讀了 OLAP 雲服務如何助力銀行實作技術平台化、元件化和雲服務化,降低技術應用門檻,賦能業務創新。此外,本書還收集了一手國内金融機構在金融科技發展與應用的最新成果及案例,歡迎大家參與文末互動,更有機會免費擷取最新版《中國金融科技發展概覽:創新與應用前沿》。

OLAP 是資料分析的基礎能力,在企業的數字化經營和管理決策中發揮至關重要的作用。随着金融業數字化轉型的推進,銀行的資料量呈現爆發式增長的趨勢,傳統的資料倉庫難以滿足企業資料分析的需求。是以,充分發揮資料作為關鍵生産要素的作用,在銀行數字化轉型中提升營運效率、驅動管理決策、推動業務增長和創新,成為了銀行的一個重要課題。

#01

傳統資料倉庫困難重重

近年來,傳統 MPP 資料倉庫難以高效處理銀行大規模資料的線上聯機分析,随之出現了衆多新的技術,如 Hive、Spark、Presto、MPP on Hadoop、Druid、Elastic search 等,雖然這些技術各有所長,但往往隻能覆寫 OLAP 的部分場景。是以,各大企業亟需統一 OLAP 平台,降低大資料的技術門檻,快速與充分挖掘大資料的價值,解決下述難題:

  • 平台的設計、部署、維護和管理難題:大資料 OLAP 平台是一個非常龐大的生态和系統,尤其是大型金融機構用于 OLAP 場景的技術衆多,搭建并管理好這樣一個多種技術混雜的平台需要投入大量的人力物力;
  • 金融業數字化程度高、資料價值密度大:大量的業務創新要結合外部資料,傳統的技術和方案要實作海量資料衆多元度的精細化分析非常困難;
  • OLAP 靈活部署和彈性擴充:在海量資料大規模應用的背景下,OLAP 服務的靈活部署和彈性擴充是普遍的挑戰,已經成為驅動數字化轉型和賦能生态夥伴的瓶頸。

#02

國有大行建設實踐

Kyligence 作為金融科技公司以及大型銀行的重要技術合作夥伴,依托在大資料和雲計算領域的先進産品和雄厚的技術積累,助力某大型國有銀行規劃和建設了統一的金融大資料 OLAP 雲平台,同時也加速了該銀行大資料雲平台的信創國産化進度。

該行大資料雲平台從 2018 年開始建設,參考了網際網路的大資料技術,結合近 20 年資料經驗打造了金融級大資料雲平台。該平台實作了九大能力,包括資料采集、內建、存儲計算、資料管理、資料開發、資料分析挖掘、資料服務、資料安全營運、資源排程等,基本覆寫資料價值全鍊路的開發和運作。在這些能力之上,平台提供了三大類服務:

  • 第一類是資源服務:提供實時計算,批量計算、圖計算等環境和資源,這些服務都是雲化版本,應用可以快速搭建自己所需的基礎環境;
  • 第二類是工具服務:提供了資料采集、加工、分析等工具,應用可以快速進行資料處理;
  • 第三類是資料服務:大資料平台提供了線上的中繼資料管理、資料目錄、資料服務總線等功能,友善對外的資料服務。

目前該銀行大資料 OLAP 雲服務的對象主要分為兩類,一類是行内客戶,一類是行外客戶。在銀行内部,大資料 OLAP 雲服務可以靈活、彈性、靈活支撐各種大資料應用。應用可以根據自身需求,将大資料 OLAP 雲服務的海量資料多元分析能力和雲上大資料平台其他元件提供的存儲計算、資料加工、分析挖掘和資料可視化等能力組合,完成相應的業務功能,該行目前已經上線運作了 40 多個全雲化的大資料應用,讓大資料 OLAP 服務适用範圍更廣。

同時,該行大資料 OLAP 雲服務支援了多地政府行業項目輸出,在過程中完善了很多非金融特性。此外,大資料 OLAP 雲服務也堅定了該銀行将雲平台産品化的決心,實作拓寬金融服務面、拉近客戶與銀行的距離、促進客戶需求落地的功能。

如果說 Hive、Spark 等大資料技術針對海量資料線上聯機分析做了成功的部分嘗試,大資料 OLAP 雲服務則是一項成熟而全面的解決方案,不但有效解決了傳統 MPP 資料倉庫在大規模資料線上聯機分析上面臨的難題,還在智能化方面做了突破,為銀行業的國産化、數字化轉型奠定了堅實基礎。

除上述内容,Kyligence 服務的中國建設銀行、浦發銀行、中國銀聯、招商銀行、平安銀行等企業案例在本書中均得到展現,您可以通過本書詳細了解中國建設銀行《資料共享安全計算平台體系架構》、中國銀聯《企業級可視化智能決策中心建設實踐》、平安銀行《潘多拉名額平台方案》等精彩案例。歡迎參與下方互動,有機會免費領取《中國金融科技發展概覽:創新與應用前沿》。

關于 Kyligence

上海跬智資訊技術有限公司 (Kyligence) 由 Apache Kylin 創始團隊于 2016 年創辦,緻力于打造下一代企業級智能多元資料庫,為企業簡化資料湖上的多元資料分析(OLAP)。通過 AI 增強的高性能分析引擎、統一 SQL 服務接口、業務語義層等功能,Kyligence 提供成本最優的多元資料分析能力,支撐企業商務智能(BI)分析、靈活查詢和網際網路級資料服務等多類應用場景,助力企業建構更可靠的名額體系,釋放業務自助分析潛力。

Kyligence 已服務中國、美國、歐洲及亞太的多個銀行、證券、保險、制造、零售等行業客戶,包括建設銀行、浦發銀行、招商銀行、平安銀行、甯波銀行、太平洋保險、中國銀聯、上汽、Costa、UBS、MetLife 等全球知名企業,并和微軟、亞馬遜、華為、Tableau 等技術上司者達成全球合作夥伴關系。目前公司已經在上海、北京、深圳、廈門、武漢及美國的矽谷、紐約、西雅圖等開設分公司或辦事機構。

繼續閱讀