天天看点

sota系统构架及目录说明(章节:2.3-2.4)

Bus     :总线模块  

Planner :作业管理和调度模块 

Sucker  :日志抽取模块

Parser  : 交易分析模块

Loader : 交易装载模块

沃信数据同步工具SOTA不需要在生产系统和备份系统上安装任何程序,只需要一个具有操作相应数据权限的数据库连接即可正常工作,不会影响生产系统和备份系统的可用性,只与生产系统和备份系统保留必须的交互,对生产系统的性能影响也非常小。

沃信数据同步工具SOTA的抽取组件从源数据库的联机日志(Online Log)和归档日志(Archive Log)中捕获数据库日志(Redo Log)记录,再通过分析组件对获取的Redo Log进行分析,获取完整的交易记录和针对每个数据库表操作的SQL语句,然后通过装载组件在目标数据库中执行该SQL语句,同步数据库变更。

oBus是用于存取数据,把数据信息在各个模块里进行交换,减少各个模块的拓朴结构构成星型拓朴。oBus位于星型拓朴结构的中心,其他各个模块在它的周围,它们是通过oBus进行信息传递而不是它们之间相互传递。oBus没有配置文件,它使用默认的配置文件,使用默认的端口号为6379。

Planner对应的模块名称为oPlanner.

oPlanner根据定义的作业内容来控制和调度Sucker/Parser/Loader各个进程。

oPlanner的作用:

· 管理作业

· 控制license

· 控制组件

· 调度组件

管理作业包括创建作业,更改作业,删除作业,启动作业,关闭作业。

oSucker程序以尽可能快的方式来读取源端oracle数据库日志文件内容,包含DDL和DML的日志。

oParser 组件是分析数据程序,它是被oSucker程序驱动的。oParser也是按照批次来运行程序。oParser根据对表操作的交易作为一个事务把它从oSucker提取出来的日志信息进行分析,分析后的数据操作再分成两部分:提交事务和未提交事务。

提交的事务经分析程序后保存到相对应表的索引文件中。

oLoader组件是用于从对源数据库的操作装载到目标数据库下。OLoader组件由planner驱动。

目录

文件名

文件说明

sota/bin

oSucker

oParser

oLoader

oPlanner

oLic

sotaCC

oSucker是sota系统的抽取数据日志程序

oParser是sota系统的分析数据程序

oLoader是数据装载同步迁移程序

oPlanner是管理和调度oSucker/oParser/Loader的程序,oLic是使用sota系统的认证程序

sotaCC是字符界面管理sota系统程序

sota/conf

oPlanner.cfg

License.dat

oPlanner.cfg文件是关于配置sota系统服务端的IP和端口信息及工作路径。

License.dat文件无须配置是运行oLic程序后自动产生,决定使用者使用该SOTA系统的程度和时间。

sota/lib

ReadMe

说明文件

sota/run

JobList.xml

JobLoadFilter.xml

JobList.xml 文件是关于作业信息的文件,在该文件中可以通过添加作业名来实现创建作业,删除作业名来实现删除作业操作,更改作业名来完成更改作业操作。 JobLoadFilter.xml是作业装载同步配置文件。

sota/log

oPlanner.log 

oPlanner.log.old

各有5M的空间用来存放运行程序日志文件,当oPlanner.log存满了之后,就将oPlanner.log的内容转到oPlanner.log.old中,继续存放新文件。

sotaData文件可以供用户放多个作业(SOTA将数据从源库同步到目的库的过程抽象为一个作业),用来动态的存放数据文件。将它指向其他的磁盘阵列时 ,它可以不消耗本地资源。

sotaData/作业名/batData

sotaData/作业名/conf

E_Config.xml

Filter.xml

P_Config.xml

L_Config_**.xml

存放作业的相关配置信息

sotaData/作业名/err

存放的是出错误或着装载失败的信息

sotaData/作业名/idxData

存放Tabsum的信息

sotaData/作业名/log

存放oSucker/oParser/Loader运行的日志信息

sotaData/作业名/metaData

存放表结构信息

sotaData/作业名/rowData

sotaData/作业名/run

存放运行之中产生的文件(如断点信息等)

sotaData/作业名/txnData

存放tabLoad_XX(备库)的信息