天天看點

阿裡雲日志服務sls的典型應用場景資料采集與消費資料清洗與流計算 (ETL/Stream Processing)資料倉庫對接(Data Warehouse)日志實時查詢與分析

日志服務的典型應用場景包括:資料采集與消費、資料清洗與流計算 (ETL/Stream Processing)、資料倉庫對接(Data Warehouse)、日志實時查詢與分析。

資料采集與消費

通過日志服務LogHub功能,可以大規模低成本接入各種實時日志資料(包括Metric、Event、BinLog、TextLog、Click等)。

方案優勢:

使用便捷:提供50+實時資料采集方式,讓您快速搭建平台;強大配置管理能力,減輕運維負擔。

彈性伸縮:無論是流量高峰還是業務增長都能輕松應對。

圖 1. 資料采集與消費

阿裡雲日志服務sls的典型應用場景資料采集與消費資料清洗與流計算 (ETL/Stream Processing)資料倉庫對接(Data Warehouse)日志實時查詢與分析

資料清洗與流計算 (ETL/Stream Processing)

日志中樞(LogHub)支援與各種實時計算及服務對接,并提供完整的進度監控,報警等功能,并可以根據SDK/API實作自定義消費。

操作便捷:提供豐富SDK以及程式設計架構,與各流計算引擎無縫對接。

監控報警:提供豐富監控資料,以及延遲報警機制。

彈性伸縮:PB級彈性能力,0延遲。

圖 2. 資料清洗與流計算

阿裡雲日志服務sls的典型應用場景資料采集與消費資料清洗與流計算 (ETL/Stream Processing)資料倉庫對接(Data Warehouse)日志實時查詢與分析

資料倉庫對接(Data Warehouse)

日志投遞(LogShipper)功能可以将日志中樞(LogHub)中資料投遞至存儲類服務,過程支援壓縮、自定義Partition、以及行列等各種存儲格式。

日志實時查詢與分析