MaxCompute 消费预警与控制 | 学习笔记

开发者学堂课程【SaaS  模式云数据仓库系列课程 —— 2021数仓必修课：MaxCompute 消费预警与控制】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：

https://developer.aliyun.com/learning/course/55/detail/1053

MaxCompute 消费预警与控制

内容简介：

一、MaxCompute 计费模式

二、消费控制（SQL按量，日累计）

包年包月，按量付费，包年包月＋按量计费

为什么要消费预警与控制

包年包月

资源使用过满

资源被个别任务占满

某日提交作业量突增

按量付费

全表扫描

输入表数据量突增

某日提交按量作业数量突增

消费分析与自定义告警

如何分析详单数据？

如找到 topN 消费用户？

如何找到 topN 耗时任务？

如何定时推送分析报告？

如何统计个人账号资源使用情况？

文档链接：

详单分析

利用 information  schema 统计 topN 与发送定时报告

统计个人账号资源使用情况

二、消费控制（SQL按量，单SQL）

⒈环境准备

odps 客户端（链接）

project owner/super admin的ak

⒉单条 SQL 消费限制

阈值单位： SQL 读取量

（GB）×SQL 复杂度

日／月累计限制

单 sql，session 级，普通用户权限

odps@habai_test2>setodps.sql.metering.value.max=0.001;

odse habai _test2>select*from customer where c_ city like'%MROCCO%'limit 18;

ID= 2020122714251183gbiqjv21

Log view:

http://legview.edups.aliyun.com/logview/?be=http://service.aspx.aspx/apijg=has/beat&air

2:19121<C--- ciLC3SZXNvdXJjZSI6WyJhY3M6b2Rwczeq0nByb2plY3RzL2hYmfpX3R1c3QyL3u  Job Queueing.

FAILED:Metering data exceed max value. Innut:0. 12837988,  Complexity :1.0, Max Vale:9. 001

单 sql，项目级，project　owner／super　admin 权限

odps@habai_test2>unsetodps.sql.metering.value.max; OK

odps@habai_test2> setproject _dps.sql.metering.value.max=0.0001; OK

odse habai _test2> selectfrom  customer where c_ city like‘4MOROCCOK'limit 10;

ID= 20201227142708135ggr68rsa

http://logview.oops.aliyun.com/Iogview/?behttp://service.edus.aliyun.com/apidp=baby&test&air=aUZzZDd6T3kxCV

c4TVAPSxPRE9TX99CTgoxHTMwNTgADMxAzgMTBLDE2NE2WEQw[3 ℃／25℃／32℃州晴夏31℃／31℃／

30℃／28℃／29℃／2p＞2p1℃／ 3RzL2hYmFk3 和9／23℃／21℃／8

FAILED:Metering data exceed max value. Imput:9. 1237968,  Complexity :1.0, Max Value:8. 083

消费控制（SQL按量，日累计）

环境准备

odps 客户端（链接）

project owner/super admin 的 ak

单条 SQL 消费限制

延迟约5～10秒

当前累计＋预估下一条

阈值单位：扫描数据量（GB）×复杂度×0.3

不要使用 limit 控制费用

很多情况 limit 都不能控制费用

select＊from　table＿x　where分区字段＝＂常量／能推出的常量＂limitxxx；//会产生计量

select＊from（a　sub　query）a　limit　xxx；／／SQL计量是按照读入数据量，而不是输出数据量