Apsara Clouder認證之旅 資料倉庫系統的運維優化

認證名稱及連結

Apsara Clouder大資料技能認證：資料倉庫系統的運維優化

 

課時清單

• 課時1：資料倉庫系統運維介紹
• 課時2：資料倉庫系統運維技術方案
• 課時3：阿裡雲資料倉庫運維開發平台DataWorks介紹
• 課時4：阿裡雲相關産品基本操作示範
• 課時5：利用阿裡雲DataWorks産品實作資料倉庫系統運維
• 課時6：【線上實驗】資料倉庫系統的運維優化

證書

筆記

• 倉庫系統的運維
  1. 確定系統正常運轉
  2. 出現問題能夠及時解決
• 運維管理的主要目标
  1. 合規性
  2. 可用性
  3. 可靠性
  4. 經濟性
  5. 服務性
• 運維發展
  1. 被動手工無系統
  2. 半手工半自動運維
  3. 自動化運維
  4. 智能運維
• 運維主要流程
  1. 資料采集
  2. 分析處理
  3. 結果應用
• 資料倉庫運維模式
  1. 垂直模式
  2. 橫向模式
  3. 均衡模式
• 資料倉庫系統的運維架構
  1. 人員
  2. 流程
  3. 工具
  4. 外服
  5. 資料&業務
• 數倉系統運維資料流優化政策
  1. 依據業務邏輯
  2. 依據處理效率
  3. 依據處理時間
  4. 依據重要程度
  5. 依據資料量
  6. 依據源系統
• 數倉運維自動化技術方案
  1. 關鍵：流程+工具
  2. 目标：标準化、流程化、原子化
• 1. 資源管理
  2. 安裝配置
  3. 釋出部署
  4. 自動巡檢
  5. 變更管理
  6. 安全審計
• 運維智能化技術
  1. 異常檢查
  2. 智能告警
  3. 關聯分析
  4. 故障定位
  5. 自愈預測
• 數倉運維利器：高效排程系統
• 數倉資料運維的根本：中繼資料
• DataWorks（原名：Data IDE）
  1. 資料開發
  2. 資料管理
  3. 作業排程
• DataWorks 系統角色
  1. 組織管理者
  2. 項目管理者
  3. 開發
  4. 運維
  5. 部署
  6. 訪客
• DataWorks 基本概念
  1. 組織
  2. 項目空間
  3. 作業
  4. 工作流
  5. 節點
  6. 依賴關系
  7. 執行個體
  8. 資源
  9. 自定義函數
• MaxCompute、RDS、DataWorks
• SQL

備注

工匠精神，精益求精，踏實學習，再接再厲O(∩_∩)O

歡迎各位同學一起來交流學習心得！