日志服務的典型應用場景包括:資料采集與消費、資料清洗與流計算 (ETL/Stream Processing)、資料倉庫對接(Data Warehouse)、日志實時查詢與分析。
資料采集與消費
通過日志服務LogHub功能,可以大規模低成本接入各種實時日志資料(包括Metric、Event、BinLog、TextLog、Click等)。
方案優勢:
使用便捷:提供50+實時資料采集方式,讓您快速搭建平台;強大配置管理能力,減輕運維負擔。
彈性伸縮:無論是流量高峰還是業務增長都能輕松應對。
圖 1. 資料采集與消費
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiI9s2RkBnVHFmb1clWvB3MaVnRtp1XlBXe0xCMy81dvRWYoNHLwEzX5xCMx8FesU2cfdGLwMzX0xiRGZkRGZ0Xy9GbvNGLpZTY1EmMZVDUSFTU4VFRR9Fd4VGdsQTMfVmepNHLrJXYtJXZ0F2dvwVZnFWbp1zczV2YvJHctM3cv1Ce-cmbw5yMxYTM2QjNklDNjdTY2IjNyYzX2MjM0YTMyIzLcRDMyIDMy8CXn9Gbi9CXzV2Zh1WavwVbvNmLvR3YxUjL0M3Lc9CX6MHc0RHaiojIsJye.png)
資料清洗與流計算 (ETL/Stream Processing)
日志中樞(LogHub)支援與各種實時計算及服務對接,并提供完整的進度監控,報警等功能,并可以根據SDK/API實作自定義消費。
操作便捷:提供豐富SDK以及程式設計架構,與各流計算引擎無縫對接。
監控報警:提供豐富監控資料,以及延遲報警機制。
彈性伸縮:PB級彈性能力,0延遲。
圖 2. 資料清洗與流計算
資料倉庫對接(Data Warehouse)
日志投遞(LogShipper)功能可以将日志中樞(LogHub)中資料投遞至存儲類服務,過程支援壓縮、自定義Partition、以及行列等各種存儲格式。