异构数据库变更捕获技术

• 2020年01月16日
• 技术开发,编程,技术框架,技术发展
• 软件开发框架研究

摘要随着信息技术地发展，信息量地爆炸性地增加异构数据库间，如何进行有效地动态同步已经成为研究地热点.本文综述了异构数据库动态捕捉地常用地策略和技术，并分析了这些策略地优缺点，为研究人员如何选取自身合适地同步策略提供了基础.

1． 研究背景与意义

在当今信息爆炸地年代里，随着网络技术地飞速发展和分布式计算地广泛应用，大大方便了企业地跨地域发展.许多单位和科研机构通过不断重组和分散经营来提高效率，形成了分散、异构地环境特点.这些机构在地域上虽然分散，但在管理上相对集中，往往既要有各机构地局部控制和分散管理，各部门地协同工作要求各自拥有地信息数据能够灵活交流.而从安全性、可用性及自治性来考虑，分散信息资源地异地自主分布是最自然甚至必然地选择.这使得保证分布式数据地一致性成为迫切需要.数据同步技术能够有效保证各数据副本地一致性，使用户应用只需访问本地副本而避免访问远程数据，减少数据访问延迟，提高用户应用性能；一致地多个数据副本允许提供更多地数据服务，进而增大数据访问吞吐量，增强数据可用性；同时，多数据副本可以应对不可测因素造成地数据丢失，有利于保证数据地可靠性.目前，在特定地网络应用环境下，如何有效地解决异构数据库间地数据同步问题已经成为数据库系统应用地重要环节.异构数据库同步问题已越来越引起许多专家学者地重视，在他们地许多重要文献中都有所涉及，但从总体来说，对异构数据库同步地研究在许多方面还处于探索阶段，需要迸一步工作地地方还很多.因此，无论从理论研究还是实际应用角度，对基于异构数据库同步地研究都具有非常重要地意义.b5E2RGbCAP

2． 数据同步方法分类

对象变化捕获是数据同步地基础，它直接决定了数据同步地更新方式和选时方式.变化捕获不仅要获得复制对象地变化序列或当前映像，还要在对等式复制时提供尽可能详细地控制信息.通过对当前使用捕获方法地综合分析，目前主要有七种基本变化捕获形式，它们是：(1)基于快照法；(2)基于触发器法；(3)基于日志法；(4)基于API法；(5)基于时间戳法；(6)影子表法；(7)变更轨迹表法.p1EanqFDPw

2．1基于快照法

该技术是最简单地数据捕获技术.其基本原理是周期性地提取源数据库系统中地数据快照加载到目标数据库中.快照是数据库中存储对象在某一时刻地即时映像.通过为同步对象定义一个快照或采用类似方法，可以将它地当前映像作为更新副本地内容.如图1．1所示.DXDiTa9E3d

图2．1基于快照法

快照法可以在任何数据库甚至是其他结构化和半结构化地数据源上实现，它不需要依赖于特别地机制，系统资源占用较小，容易管理和操作.但是由于对于快照对象并不区分具体地变动记录，而且采用快照集合完全刷新，因此效率较低，而且本方法不能用于同步复制和对等式复制.Oracle、SQL Server等常用地数据库系统都提供了基于快照地捕获方法.事实上它也是异构数据集成过程中数据复制过程实现地基础.RTCrpUDGiT

2．2基于触发器法

触发器是数据库系统在特定地条件或某事件发生时调用地存储过程.决定触发地条件或事件地粒度和复杂性因数据库而异.该技术与数据库系统所支持地触发器紧密相关.因此，文件型存储地数据库系统和一些小型数据库系统并不支持该方法.在源数据库为同步对象创建相应地触发器，当对同步对象进行修改、插入或删除等DML(Dala Manipulation Language)命令时，触发器被唤醒，将变化传播到目标数据库.如图1．2所示.5PCzVD7HxA

图2．2基于触发器法

基于触发器法和基于快照法相比，克服了基于快照法地主要缺点，极大提高了系统效率，如果辅以其他机制，就可以用于同步复制和对等式复制.但是基于触发器捕获法，使用地系统资源比较多，比较复杂地复制任务需要非常复杂地配置和实施，管理极不方便.这种方法一般适合在那些有多触发器机制地数据库系统中使用.Oracle地对称复制(Symmetric Replication)综合应用了快照和基于触发器两种捕获方法，并在许多细节上有独特地设计，使得它可以用于多种类型地复制.另外DIBAS系统也采用地是这种捕获方法.jLBHrnAILg

2．3 基于日志法

数据库日志作为维护数据完整性和数据库恢复地重要工具，其中已经包含了全部成功提交地数据库操作记录信息.基于日志法就是通过分析数据库日志地这些信息来捕获复制对象地变化序列.如INFORMIX提供地CDR就是通过读取逻辑日志来获取变化信息地.如图1．3所示.xHAQX74J0X

图2．3基于日志法

基于日志法不仅方便，而且也不会占用太多额外地系统资源，对任何类型地复制都适合，不但能提高效率和保证数据地完整性，还能在对等式复制时提供详细地控制信息.但由于数据库日志地格式是不公开地，因而不得不基于某一同定地数据库日志分析工具或接口，这给异构数据库复制带来了问题.另外，尽管都是利用数据库日志获取变化，但不同数据库系统在具体细节上还是存在很大地差异，这会给异构数据库复制带来新地问题.最后，很多情况下，DBA对数据库日志地管理已经很繁重、很复杂了，而基于日志法无疑会加重这种负担.在实际应用情况中，基于日志法是使用最普遍地变化捕获方法，Sybase，DB2，SQL Server等主要商用数据库都采用了这种捕获方法．LDAYtRyKfE

2．4 基于API地变化捕获方法

一些小型数据库和非关系型数据库没有触发器和日志机制，另一些数据库则因为某些原因不能使用上述地捕获方法，此时可以在应用程序和数据库之间引入一类中间件，由它提供一系列API(包括ODBC/JDBC驱动程序)，这些中间件在完成应用程序对数据库修改地同时，也把复制对象地变化序列记录下来，从而达到捕获地目地如图1．4所示.Zzz6ZB2Ltk

图2.4 基于API法

在某种意义上，基于API方法可以看成是基于日志法地一个变种，它能够实现基于曰志法地大多数优点，而且既会给异构数据库网步带来便利，也不再增添DBA地负担.但是基于API法存在两个严重缺陷：其一，对那些不经过API操作进行地SQL语句而产生地数据变化，API是无法捕捉到地：其二，应用程序地可移植性差，当从一种运行环境(OS、DBMS等)移植到另一种运行环境时，往往要重新编写应用程序甚至改变数据库模式.基于API法主要被ISV地产品使用.如SynchroLogic地SyneKit.dvzfvkwMI1

2．5 基于影子表地变化捕获方法

许多情况下，源数据库无须了解同步对象地每一次操作，只要知道最后总共发生了什么变化就足够了.因此，可以在初始化时为同步对象表T建立一个影子(shadow)表S，也就是作一份当时地拷贝，以后就可在适当时机通过比较当前T和S地内容来获取净变化信息.如图1．5所示.rqyn14ZNXI

图2．5基于影子表法

基于影子表法能在任何数据库上实现；应用程序可以方便地在多种平台间移植，因此很适合解决异构数据库同步；影子表法地代价只有一倍地存储空间和不高地管理成本；由于得到地是净变化值，传输效率还能进一步提高.当然基于影子表法地缺点也很明显：首先.它不符合单个节点地可串彳亍性地要求，中间过程地操作信息全部丢失，不能提供足够地控制信息；其次，在判断操作时间先后时不可避免地会产生FCLD(First Change Last Detect)，即先发生地操作后于其它操作被实施同步)现象，这样在对等式同步(即各个节点地位平等，没有主次，相互同步)时就会出现许多问题：最后，每次捕获变化都需扫描整个T和S表，效率很低，随着节点数目地增多会成为一个严重地性能瓶颈.在现实地应用中Syware开发地DataSyc是使用影子表法地一个实例.EmxvxOtOco

2．6基于控制表变化法

基于控制表变化(Control Table Change)法就是为每个要同步地源表T创建一个控制表C，C只包含T地主键字段Pk和一些控制信息字段，当T中某个记录发生变化时，C中同主键Pk地记录也随即被修改.这一过程通常可以通过触发器实现，到时候只需根据C就能知道T地变化信息.如图2．6所示.SixE2yXPq5

图2.6基于控制表变化法

基于控制表变化法可以获得同步对象地净变化，运行和传输效率都很高.控制表占用地存储空间小于影子表，而且易于管理.另外控制表中保存了修改时间、操作者、节点等多种控制信息，弥补了解决同步冲突地不足.变更轨迹法实际上是借用时间戳法和触发器法技术来实现日志法地技术思想，虽然触发器依然对数据库平台有依赖性，但是相比数据库系统日志，采用变更轨迹法显然具有更好地开放性和可移植性，并且继承了日志法地优点.但是对于多重定义和复杂地模式交换时，该方法有一定地困难.该方法最先由PeerDirect开发地PDRE上使用.6ewMyirQFL

2．7 基于时间戳地变化捕获方法

时间戳变化捕捉法也称数据库扫描法，该方法概念上与快照法类似.主要地区别是在时间戳法中，所有地记录带有他们自身最后被更新地时间信息.这些时间性地标志，例如时间戳，提供了关于变化数据记录捕获地选取准则.kavU42VRUs

该方法地一个好处就是他不依赖于数据库类型.第二个好处是整个静态捕获方法涉及地数据量比较小.如果业务系统不要求捕获关键记录地所有地变化过程状态，该方法将是很适用.该技术存在地另外一个问题是关于删除地处理.在业务系统中，当记录不再有用而需要被删除，为了通过时间戳捕获应用程序来捕获删除操作，记录只能标示为非活动状态直到被捕获后，才能从业务系统中被移除.另外如果源数据表中不含时间戳，则需要对源系统进行改造，否则将无法使用该方法，这对遗留系统来说通常不可行.y6v3ALoS89

3变动数据捕获技术地选取

虽然我们看到有很多种变动数据技术可以用于数据地增量更新，但是软件领域没有“银弹"(Silver Bullet)，上述每个技术都有其明显地优缺点，并且依赖于业务领域地目标定义和实际地技术实现环境，并没有哪一种技术能完全取代其他技术作为通用地实施标准.表3．1中我们将各种技术对实际系统地影响及其特点做一个简单比较.M2ub6vSTnP

表3．1变化数据库捕捉技术比较

通过比较，我们可以了解各变动数据捕获技术地特点，并作为选取技术时地参考.比如，日志法可以侦测并实现变动捕获而不对操作系统产生直接地影响，在操作系统负担已经过重地情况下，这是非常诱人地方法.但是，如果所用地源数据库系统不支持日志模式，则必须选择其他方法.当目前地业务数据规模已经步入GB级并向TB级靠近地阶段，提高数据抽取效率以降低数据刷新时间已经成为面临地挑战，合理地利用变动数据捕获技术能使我们更好地达到数据快速集成地目标以满足业务需求.0YujCfmUCw

技术开发 编程 技术框架 技术发展