maxcompute是阿里云自主研发的大数据计算引擎。通过maxcompute,可以使用sql、mapreduce和graph的计算模型处理海量数据。产品还提供了机器学习的功能,并包装成机器学习这个产品对外提供服务。用户使用maxcompute,不需要关心底层的分布式计算细节,就可以轻松地处理海量数据。
但是直接用maxcompute也有一些不方便之处,比如需要更方便地进行开发代码的管理、进行数据的导入导出、设置任务的定时调度以及上下游依赖、管理任务的运行情况并做好异常报警、需要有简单方便的元数据的管理以及我们这次要讲的更方便的数据权限设置。为此诞生了大数据开发套件(data ide)这个产品。data ide在maxcomput外面又包了一层。用户不需要直接去操作maxcomupt,只需要在data ide上做操作就可以了,大大简化了数据仓库搭建的过程。有时候,我们甚至会称data ide是maxcompte的开发工具。
maxcompte作为计算引擎,本身就有一套健全的安全规则和权限体系。这些权限设置,足够让用户只能访问到他被授权的那些数据。在此基础上,data ide提供了一套自己的权限体系,包含data ide上的模块的授权和maxcompte上的授权。通过在data ide上做配置,就能很方便的给账号授予对应的maxcompte权限。以下我们分别对这两个产品做一些说明。
maxcompute在添加一个用户后,可以对用户通过acl直接授权、基于角色的acl授权、policy授权、package授权,使其获得对应的权限。其中acl直接授权、基于角色的acl授权是目前对外提供的权限控制方法。policy授权、package授权这两个功能,目前还是在内部测试阶段,公共云上的maxcompute的文档里暂时还没有提供,但不排除以后会提供的可能。
maxcompute需要把某个具体的云账号添加到项目里后才能对这个账号进行授权。maxcomupte本身支持对具体的某个云账号,或者本主账号下的其他子账号进行授权。不过后面的大数据开发套件就只支持本账号下的子账号。
添加的方式为
主账号:<code>add user [email protected];</code>
子账号:<code>add user [email protected]:ram_name;</code>
直接的acl授权,其实就是一个简单的,把xx权限授权给yy,或者把yy上的xx权限解除授权的一个过程。在add user之后,通过grant和revoke语法来进行授权或者解除授权,具体的语法是
举个实际的例子,要给一个账号授权查询某张表的权限,然后又解除授权,步骤是
而基于角色的acl授权就是先定义一个角色(或者说是一个权限包),比如说创建一个叫开发者的角色,然后把各种前面提到的权限先授权给这个角色。后面来了个研发人员需要这样的权限,直接把开发者这个角色授权给他就可以了,不需要全部重新授权一遍。可以看下授权的命令
如前面提到,policy授权、package授权两个功能,目前公共云的maxccompute上还没有提供,所以本文也不再做详细介绍。不过可以可以大致说明一下:
policy是通过设置json格式的配置来授权,使用起来比较复杂,功能上也比较全。
package是先把资源添加到资源包里,然后授予对方安装资源包的方式来实现资源的跨项目授权
dataide的权限主要分ide本身的一些功能权限和底层计算引擎的权限。ide里,在添加用户后,可以给其授予部署、访客 、项目管理员、开发、运维的角色,在ide里配置了角色后,对应的账号可以获得ide上对应的角色所拥有的ide上的对应模块的操作权限外,还获得了底层的计算引擎maxcompute上的对应权限,如图
比如我给chuanxue这个子账号授权了“开发”的角色后
可以看到。在子账号授予权限后,除了dataide上的相关模块的权限外,还给了这个maxcompute项目的一些开发需要用到的项目权限(createtable、createinstance、list、read、write;可以看到是通过acl实现的)以及用policy实现其他的一些权限。
在实际的工作中,需要先根据子账号用户的实际需要的ide的权限,授予他对应的项目成员管理里的角色。一般情况下,这样授权就已经足够了。但是如果有一些maxcompute的权限需要调整的,可以再通过maxcompute的授权命令进行调整。
除了这个之外,dataide的数据管理模块里还支持对表进行权限申请,申请通过后,会自动通过acl的方式获得对应的表的describe和select权限。
以上说明后可能需要一些实际的例子来说明会更加清楚。之前有过这样的一个案例,有个用户在项目内授予了开发权限,但是查询的时候一直没有提示没有这张表的查询权限。照道理说,有了开发权限后,就已经有这个项目下的所有的表的查询权限了。从错误上看,我们认为目前的权限异常是出在计算引擎上的,所以需要检查maxcompute上的权限设置。
比如咱们这个截图里,项目的名称是aliyun2014,但是显示名是aliyun。所以出现问题的时候,要排查的也是看aliyun2014这个项目下的权限对不对。
然后我们可以在大数据开发套件里,创建一个sql脚本,执行whoami;来看看当前的执行账号是否确实是预期中的那个账号,如图
看看项目名称能不能对上,对上后看看name是否和自己的预期是能对上的。
确定了项目名称和登录账号后,可以用项目管理员的账号,打开maxcompute的客户端,使用show grants for xxx;查看这个账号的所有的权限(前文就有一个这样show grants的截图)。通过这个办法可以看到这个账号的目前计算引擎上的实际权限。如果发现这里的权限不对的话,那说明可能是被人从计算引擎层面上误删除了对应的权限,可以再通过命令补上,当然更加方便的方法是在dataide上取消其开发角色后再重新加上,这样在加上的时候会重新进行maxcomupte的权限的授权。