一、背景介绍
某客户数据库备库执行sql失败，数据库环境：主库(12.2.0.1 RAC)，备库(12.2.0.1 单机)RAC到单机搭建了ADG，数据是从12.1.0.2通过erp导入的，报错信息：ORA-22303、ORA-16000、ORA-06508、ORA-06512，具体报错内容见下文。
二、问题描述
1、执行SQL&报错
2020-03-03 15:34:32.830 [job-81740957] INFO SingleTableSplitUtil - split pk [sql=SELECT * FROM ( SELECT xxx FROM xxx.xxx SAMPLE (0.1) WHERE (xxx IS NOT NULL) ORDER BY DBMS_RANDOM.VALUE) WHERE ROWNUM <= 15 ORDER by xxx ASC] is running...
2020-03-03 15:34:32.969 [job-81740957] ERROR JobContainer - Exception when job run
com.alibaba.datax.common.exception.DataXException: Code:[DBUtilErrorCode-07], Description:[读取数据库数据失败. 请检查您的配置的 column/table/where/querySql或者向 DBA 寻求帮助.]. - 执行的SQL为:SELECT * FROM ( SELECT xxx FROM xxx.xxx SAMPLE (0.1) WHERE (xxx IS NOT NULL) ORDER BY DBMS_RANDOM.VALUE) WHERE ROWNUM <= 15 ORDER by xxx ASC 具体错误信息为：ORA-22303: 未找到类型 "SYS"."WRR$_REPLAY_DEP_GRAPH"
ORA-16000: 数据库或可插入数据库是以只读访问方式打开的
ORA-06508: PL/SQL: 无法找到正在调用 : "SYS.DBMS_WORKLOAD_REPLAY" 的程序单元
ORA-06512: 在 "SYS.DBMS_WRR_STATE", line 4
ORA-06512: 在 "SYS.DBMS_RANDOM", line 91
- java.sql.SQLException: ORA-22303: 未找到类型 "SYS"."WRR$_REPLAY_DEP_GRAPH"
ORA-16000: 数据库或可插入数据库是以只读访问方式打开的
ORA-06508: PL/SQL: 无法找到正在调用 : "SYS.DBMS_WORKLOAD_REPLAY" 的程序单元
ORA-06512: 在 "SYS.DBMS_WRR_STATE", line 4
ORA-06512: 在 "SYS.DBMS_RANDOM", line 91
三、问题排查
观察上面报错信息，通过了解背景信息，这个SQL在主库RAC环境PDB通过业务用户是可以查询的，但是在备库(单机)PDB环境执行却报错，通过下面几个方面排查解决问题。
1、备库查询其他SQL
①备库PDB业务业务用户查询其他sql能正常执行
②备库执行上面SQL，不带DBMS_RANDOM.VALUE可以正常执行
③主库均能正常执行
2、备库单独调用DBMS_RANDOM.VALUE
通过上面一步，可以发现SQL执行报错主要是在调用DBMS_RANDOM问题上，那么接下来对备库调用DBMS_RANDOM报错进行分析。
2.1、sys连接到CDB、PDB
①sys用户连接CDB，可以正常执行
②sys切换到对应PDB，执行报错
sqlplus / as sysdba
alter session set container=pdb_name;
SQL> select DBMS_RANDOM.VALUE(1,8) from dual;
select DBMS_RANDOM.VALUE(1,8) from dual
*
ERROR at line 1:
ORA-22303: type "SYS"."WRR$_REPLAY_DEP_GRAPH" not found
ORA-16000: database or pluggable database open for read-only access
ORA-06508: PL/SQL: could not find program unit being called:"SYS.DBMS_WORKLOAD_REPLAY"
ORA-06512: at "SYS.DBMS_WRR_STATE", line 4
ORA-06512: at "SYS.DBMS_RANDOM", line 91
ORA-06512: at "SYS.DBMS_RANDOM", line 137
2.2、业务用户连接到PDB模式
SQL执行报错，报错信息和如下：
sqlplus user/[email protected]:1521/pwd-server-name
SQL> select DBMS_RANDOM.VALUE(1,8) from dual;
select DBMS_RANDOM.VALUE(1,8) from dual
*
ERROR at line 1:
ORA-22303: type "SYS"."WRR$_REPLAY_DEP_GRAPH" not found
ORA-16000: database or pluggable database open for read-only access
ORA-06508: PL/SQL: could not find program unit being called:"SYS.DBMS_WORKLOAD_REPLAY"
ORA-06512: at "SYS.DBMS_WRR_STATE", line 4
ORA-06512: at "SYS.DBMS_RANDOM", line 91
ORA-06512: at "SYS.DBMS_RANDOM", line 137
3、查看数据库INVALID对象
①主库
SYS的Object对象全部valid，业务用户有部分object invalid，对这次执行的SQL不影响。
②备库
SYS的Object对象全部valid，业务用户有部分object invalid，对这次执行的SQL不影响。
4、查看用户权限
在主、备库查询完用户权限，主备是一致的，信息如下：
5、重新编译DBMS_RANDOM包
主库执行：
Execute the following script to recreate DBMS_RANDOM package:
@?/rdbms/admin/dbmsrand.sql
主库执行完，这个动作会同步到从库，执行完从库在调用上述DBMS_RANDOM包，问题仍没有解决
6、赋予业务用户系统表权限
上面信息观察完仍没有找到出错原因，去查相关资料，发现类似报错几乎没有，与报错号相同的但是报错内容是不一致的，再次观察报错内容，尝试赋予业务用户系统表权限，如下：
主库
sqlplus / as sysdba
alter session set container=pdb_name;
grant select on "SYS"."WRR$_REPLAY_DEP_GRAPH" to username;
权限赋予完，之后在备库执行查询命令，发现可以正常执行：
四、问题总结
遇到这个问题，查询相关资料很少，最后根据sql执行报错内容通过业务用户查询表 "SYS"."WRR$_REPLAY_DEP_GRAPH"，发现没有权限(主备库查询结果一致)，尝试赋予这个用户查询这个系统表的权限，之后在执行上述查询就可以了。
奇怪的一点，主库业务用户也是没有这个系统表查询权限的，但是执行sql可以正常执行，这也有可能触发了oracle bug。