直播講師：
丁來強（成喆）- 阿裡進階技術專家
從事阿裡雲日志服務相關的産品與研發工作，擅長AIOps/SecOps的大資料分析平台建構與場景落地，樂于分享, PyCon曆屆講師/雲栖直播講師，曾經在中國PyCon2015、2016與2018以及雲栖分享過10+不同議題，覆寫Jupyter擴充、大資料分析可視化、工作流排程、函數式、設計模式、Python核心語言等方面，廣受好評。
唐恺(風毅) - 阿裡技術專家
從事阿裡雲日志服務相關的産品與研發工作，日志采集、ETL、資料內建、相關領域專家, 在建構高可靠、高性能服務方面有相當的經驗。
分享介紹
日志服務資料加工功能提供托管的自動伸縮的實時可靠資料加工服務，本次系列教育訓練從實戰案例角度完整介紹資料加工的主要場景. 包括功能文法、資料分發、結構與非結構化資料清洗、外部資源關聯、并發可靠性與排錯等，解決實日志資料在接入、分析、投遞、對接時存在各種資料加工需求與問題。
一覽
| # | 主題 | 内容介紹 | 講解人 | 排期 | 資料 |
|---|---|---|---|---|---|
| 1 | 資料加工介紹與實戰 | 介紹資料加工的各種痛點, 場景以及解決方案. 介紹與示範日志服務資料加工的功能, 概念, 原理, 控制台操作, 以及SLB資料加工實戰等 | 成喆 | 8月7日 19:30-20:30 | 直播 資料下載下傳(待釋出) |
| 2 | 資料加工DSL核心文法介紹 | 介紹與示範日志服務資料加工的核心與發的架構. 深入淺出的覆寫基礎文法, 資料結構, 30+全局函數概述, 200+表達式函數概述, 以及類SLS/Lucene的查詢字元串文法 | 8月8日 19:30-20:30 | ||
| 3 | 資料加工DSL文法實踐 | 逐漸深入介紹日志服務的事件字段提取模式, 正規表達式實踐, 400+GROK模式概覽, 靈活強大的JMES文法. 以及ETL核心場景最佳實踐: 函數調用、事件判斷、日期時間處理等 | 8月13日 19:30-20:30 | ||
| 4 | 資料加工動态資料分發彙集實踐 | 介紹與示範資料加工對于跨賬号多目标logstore資料分發. 以及跨賬号多源logstore資料彙總的場景 | 唐恺 | 8月14日 19:30-20:30 | |
| 5 | 非結構化資料解析實踐 | 通過多個實戰案例介紹日志服務資料加工如何全面靈活的支援非結構化資料的解析. 包括: 解析标準syslog協定架構、使用正規表達式與grok解析Ngnix日志、動态鍵值對KV加工, 特定格式的、特定格式文本的資料加工等 | 8月20日 19:30-20:30 | ||
| 6 | 結構化化資料解析實踐 | 包括：複雜JSON格式加工、多子鍵為數組的複雜JSON、多層數組對象嵌套的複雜JSON, 解析CSV格式日志等 | 8月21日 19:30-20:30 | ||
| 7 | 資料映射富化實踐 | 通過多個實戰案例介紹日志服務資料加工對于資料富化的支援. 介紹如何從RDS-MySQL、Logstore、OSS等外部資源自動化加載資料支援各種維表更新與資料富化場景。也覆寫特定複雜邏輯映射的實戰内容。 | 8月28日 19:30-20:30 | ||
| 8 | 資料加工可靠性性與排錯實踐 | 深入淺出介紹介紹如何建構健壯性資料加工任務. 從異常錯誤監控, 到異常錯誤排查架構流程, 通過實戰覆寫資料加工各個階段的錯誤排查手段, 包括: 初始化錯誤排查, 讀取錯誤, 加工錯誤, 輸出錯誤等 | 8月29日 19:30-20:30 |
掃碼觀察直播:
日志服務開發者技術交流群
阿裡雲開發者群: