天天看點

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

簡單了解原理

(1)在操作審計建立跟蹤可以将賬号下發生的雲上管控記錄檔持續投遞到SLS Logstore和OSS Bucket;

(2)在資料湖分析(DLA)服務,可以通過簡單的設定将記錄檔從OSS Bucket導入DLA。

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

DLA是一款基于Serverless的強大的互動式資料查詢分析服務,能夠便捷的對不同格式的資料源進行格式化整合并使用統一SQL查詢分析。将OSS Bucket 中的記錄檔導入DLA後,

(1)DLA将OSS Bucket内以Array形式儲存的一行多條日志記錄拆分為多條資料;

(2)DLA将以JSON儲存的每條記錄檔轉換為結構化的資料表。

這使面向OSS Bucket的資料解析被大大的簡化,直接實作可視化的标準SQL分析。

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

開始實踐

Step1:确認最佳實踐的前提條件

1、确認您已經在操作審計建立了跟蹤。如果還未

建立跟蹤

,請先完成建立賬号追蹤操作,并配置将操作記錄投遞到對象存儲(OSS)。

2、确認開通了DLA服務,請參見

開通DLA服務

Step2:在DLA服務中建立Schema

1、登入

Data Lake Analytics管理控制台

2、在頁面左上角,選擇與OSS所在地域一緻的DLA地域。

3、單擊左側導航欄的資料湖建構 > 資料入湖,在資料入湖頁面單擊ActionTrail日志清洗中的進入向導。

4、在ActionTrail日志清洗頁面,根據頁面提示進行參數配置。

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

5、完成上述參數配置後單擊建立,建立Schema。

服務端預設的操作審計日志Schema結構如下方表格所示。

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

Schema表結構介紹

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

Step3:開啟同步

Schema建立成功後,ActionTrail投遞到OSS Bucket中的日志資料尚未同步到DLA中,DLA中尚未建立OSS日志檔案對應的表,您還需要通過單擊立即同步來建立表并同步表資料。

1、單擊立即同步啟動資料同步任務。

在配置頁簽下,單擊更新更新Schema配置。           
操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

2、單擊表頁簽,檢視資料同步情況。

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

資料同步到DLA以後,您就可以在DLA中使用标準SQL文法對ActionTrail日志資料進行分析。

Step4:資料分析示例

1、單擊DLA控制台左側 SQL執行 頁籤,選擇目标前面設定的資料庫。

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

2、輸入查詢語句,在這裡輸入單擊 同步執行

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

3、得到查詢結果

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

您可以使用任何符合SQL文法的語句去對DLA中的日志資訊進行查詢。

常用查詢案例

案例1:查詢某個AK的記錄檔

1、輸入語句:select * from

action_trail

where

user_identity_access_key_id

= '你的目标AK' limit 20;

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

2、單擊 同步執行 得到前20條符合條件的記錄如下

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志

案例2:查詢某個AK通路某個産品的記錄檔

1、輸入語句,查詢AK為指定值,調用Ecs服務的記錄:select * from

action_trail

user_identity_access_key_id

= '你的目标AK' AND

service_name

= 'Ecs' limit 20;

操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志
操作審計日志分析實戰一:使用 SQL 分析投遞到 OSS 中的操作審計日志