Bus :总线模块
Planner :作业管理和调度模块
Sucker :日志抽取模块
Parser : 交易分析模块
Loader : 交易装载模块
沃信数据同步工具SOTA不需要在生产系统和备份系统上安装任何程序,只需要一个具有操作相应数据权限的数据库连接即可正常工作,不会影响生产系统和备份系统的可用性,只与生产系统和备份系统保留必须的交互,对生产系统的性能影响也非常小。
沃信数据同步工具SOTA的抽取组件从源数据库的联机日志(Online Log)和归档日志(Archive Log)中捕获数据库日志(Redo Log)记录,再通过分析组件对获取的Redo Log进行分析,获取完整的交易记录和针对每个数据库表操作的SQL语句,然后通过装载组件在目标数据库中执行该SQL语句,同步数据库变更。
oBus是用于存取数据,把数据信息在各个模块里进行交换,减少各个模块的拓朴结构构成星型拓朴。oBus位于星型拓朴结构的中心,其他各个模块在它的周围,它们是通过oBus进行信息传递而不是它们之间相互传递。oBus没有配置文件,它使用默认的配置文件,使用默认的端口号为6379。
Planner对应的模块名称为oPlanner.
oPlanner根据定义的作业内容来控制和调度Sucker/Parser/Loader各个进程。
oPlanner的作用:
· 管理作业
· 控制license
· 控制组件
· 调度组件
管理作业包括创建作业,更改作业,删除作业,启动作业,关闭作业。
oSucker程序以尽可能快的方式来读取源端oracle数据库日志文件内容,包含DDL和DML的日志。
oParser 组件是分析数据程序,它是被oSucker程序驱动的。oParser也是按照批次来运行程序。oParser根据对表操作的交易作为一个事务把它从oSucker提取出来的日志信息进行分析,分析后的数据操作再分成两部分:提交事务和未提交事务。
提交的事务经分析程序后保存到相对应表的索引文件中。
oLoader组件是用于从对源数据库的操作装载到目标数据库下。OLoader组件由planner驱动。
目录
文件名
文件说明
sota/bin
oSucker
oParser
oLoader
oPlanner
oLic
sotaCC
oSucker是sota系统的抽取数据日志程序
oParser是sota系统的分析数据程序
oLoader是数据装载同步迁移程序
oPlanner是管理和调度oSucker/oParser/Loader的程序,oLic是使用sota系统的认证程序
sotaCC是字符界面管理sota系统程序
sota/conf
oPlanner.cfg
License.dat
oPlanner.cfg文件是关于配置sota系统服务端的IP和端口信息及工作路径。
License.dat文件无须配置是运行oLic程序后自动产生,决定使用者使用该SOTA系统的程度和时间。
sota/lib
ReadMe
说明文件
sota/run
JobList.xml
JobLoadFilter.xml
JobList.xml 文件是关于作业信息的文件,在该文件中可以通过添加作业名来实现创建作业,删除作业名来实现删除作业操作,更改作业名来完成更改作业操作。 JobLoadFilter.xml是作业装载同步配置文件。
sota/log
oPlanner.log
oPlanner.log.old
各有5M的空间用来存放运行程序日志文件,当oPlanner.log存满了之后,就将oPlanner.log的内容转到oPlanner.log.old中,继续存放新文件。
sotaData文件可以供用户放多个作业(SOTA将数据从源库同步到目的库的过程抽象为一个作业),用来动态的存放数据文件。将它指向其他的磁盘阵列时 ,它可以不消耗本地资源。
sotaData/作业名/batData
sotaData/作业名/conf
E_Config.xml
Filter.xml
P_Config.xml
L_Config_**.xml
存放作业的相关配置信息
sotaData/作业名/err
存放的是出错误或着装载失败的信息
sotaData/作业名/idxData
存放Tabsum的信息
sotaData/作业名/log
存放oSucker/oParser/Loader运行的日志信息
sotaData/作业名/metaData
存放表结构信息
sotaData/作业名/rowData
sotaData/作业名/run
存放运行之中产生的文件(如断点信息等)
sotaData/作业名/txnData
存放tabLoad_XX(备库)的信息