天天看點

阿裡雲産品之資料中台架構

客戶打包買了很多阿裡雲的産品,但是阿裡雲不負責實施,基于阿裡雲産品與客戶需求,拟采用的資料中台架構,有類似需求的,可以參考下,拿走不謝!

1. 場景描述

2. 解決方案

阿裡産品大資料架構圖:

阿裡雲産品之資料中台架構

從下到上,簡要介紹下各個阿裡産品作用及承擔的任務:

2.1 雲資料庫 RDS

阿裡雲關系型資料庫RDS(Relational Database Service)是一種穩定可靠、可彈性伸縮的線上資料庫服務,提供容災、備份、恢複、遷移等方面的全套解決方案,徹底解決資料庫運維的煩惱。官方文檔

2.2 資料傳輸DTS

資料傳輸服務(Data Transmission Service) DTS支援關系型資料庫、NoSQL、大資料(OLAP)等資料源間的資料傳輸。 它是一種集資料遷移、資料訂閱及資料實時同步于一體的資料傳輸服務。資料傳輸緻力于在公共雲、混合雲場景下,解決遠距離、毫秒級異步資料傳輸難題。 它底層的資料流基礎設施為阿裡雙11異地多活基礎架構, 為數千下遊應用提供實時資料流,已線上上穩定運作6年之久。 您可以使用資料傳輸輕松建構安全、可擴充、高可用的資料架構。官方文檔。

2.3 離線資料同步工具DataX

DataX 是阿裡巴巴集團内被廣泛使用的離線資料同步工具/平台,實作包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各種異構資料源之間高效的資料同步功能。

開源位址:https://github.com/alibaba/DataX

2.4 DataHub

阿裡雲流資料處理平台DataHub是流式資料(Streaming Data)的處理平台,提供對流式資料的釋出 (Publish),訂閱 (Subscribe)和分發功能,讓您可以輕松建構基于流式資料的分析和應用。DataHub服務可以對各種移動裝置,應用軟體,網站服務,傳感器等産生的大量流式資料進行持續不斷的采集,存儲和處理。使用者可以編寫應用程式或者使用流計算引擎來處理寫入到DataHub的流式資料比如實時web通路日志、應用日志、各種事件等,并産出各種實時的資料處理結果比如實時圖表、報警資訊、實時統計等。

DataHub服務基于阿裡雲自研的飛天平台,具有高可用,低延遲,高可擴充,高吞吐的特點。

2.5 ADB或ADS

雲原生資料倉庫AnalyticDB MySQL版(簡稱ADB,原分析型資料庫MySQL版),是阿裡巴巴自主研發的海量資料實時高并發線上分析雲計算服務,使得您可以在毫秒級針對千億級資料進行即時的多元分析透視和業務探索。

2.6 什麼是MaxCompute

大資料計算服務(MaxCompute,原名ODPS)是一種快速、完全托管的EB級資料倉庫解決方案。

随着資料收集手段不斷豐富,行業資料大量積累,資料規模已增長到了傳統軟體行業無法承載的海量資料(百TB、PB、EB)級别。MaxCompute緻力于批量結構化資料的存儲和計算,提供海量資料倉庫的解決方案及分析模組化服務。

2.7 智能資料建構與管理 Dataphin

面向各行各業大資料建設、管理及應用訴求,一站式提供從資料接入到資料消費全鍊路的智能資料建構與管理的大資料能力,包括産品、技術和方法論等,助力打造标準統一、融會貫通、資産化、服務化、閉環自優化的智能資料體系,以驅動創新。

域的伺服器組成的分布式網絡。将源站資源緩存到全國各地的邊緣伺服器,供使用者就近擷取,降低源站壓力。

2.8 伺服器ECS

雲伺服器ECS(Elastic Compute Service)是一種簡單高效、處理能力可彈性伸縮的計算服務。幫助您建構更穩定、安全的應用,提升運維效率,降低IT成本,使您更專注于核心業務創新。

官方幫助文檔1 官方幫助文檔2

2.9 實時流處理Blink

​ 一套基于Apache Flink建構的一站式、高性能實時大資料處理平台,廣泛适用于流式資料處理、離線資料處理、DataLake計算等場景。

​ 阿裡雲正式于2019年1月,宣布将實時計算平台Blink開源,Blink傳承自Flink開源架構,後者最早适用于小流量網際網路場景的資料處理。此前阿裡對Flink進行改造,并推出内部版Blink,将計算延遲降低到毫秒級。

I’m 「軟體老王」,如果覺得還可以的話,關注下呗,後續更新秒知!歡迎讨論區、同名公衆号留言交流!

更多資訊請關注公衆号:「軟體老王」,關注不迷路,IT技術與相關幹貨分享,回複關鍵字擷取對應幹貨,本文版權歸作者軟體老王所有,轉載需注明作者、超連結,否則保留追究法律責任的權利。

阿裡雲産品之資料中台架構