从奥软件(上海)有限公司

不断增长的结构化和非结构化数据增加了信息管理的复杂性,同时客户希望在跨异构环境中能更出色地管理数据。为了满足用户不断提高的需求,需要改进数据仓库、商业智能和分析等功能,提供近实时数据集成能力,变更数据捕获(CDC)是实时数据集成基础设施的重要组成部分。

在历史的数据集成项目中,往往只需要定时、批量的整合数据,这必将造成数据的延时以及组织决策的延时,当前,越来越多的组织希望能够实时的看到最新的数据,实时、增量的捕获数据是数据捕获过程的重要技术。

CDC,全名为Change Data Capture(变更数据捕获),在数据库中,变更数据捕获(CDC)是一组软件设计模式,用于确定和跟踪已改变的数据,使得操作可以快速使用改变的数据。

CDC极大的提高了数据集成效率,消除了批量的高延时问题。

CDC解决方案最常发生在数据仓库环境中,因为捕获和保存数据的跨时的状态是数据仓库的核心功能之一。

CDC主要面向关系数据库、遗留系统、大型机以及基于文件的数据库等数据源。

CDC是一款高度可扩展、可靠和易于配置的异构实时事务复制软件,能够提供异构环境下数据的实时捕捉和交付数据,以独立于创建信息的应用的方式,可实现跨异构数据源、跨网络、实时的捕获与整合数据。

CDC作为原始数据与数据应用的快速通道,帮助组织从原有系统中,近乎实时的整合变化数据,广泛应用于数据仓库实时数据供给、实时商务智能、数据备份与容灾,数据库升级和移植、双业务中心、跨越异构数据源系统和操作系统实现实时数据交付,以独立于创建信息应用的方式,最大程度地减少对源系统的影响,几乎不消耗系统资源,又能处理所需的事务量,帮助组织提升服务的质量和效率,实现更智慧的业务决策和对市场形势的更快响应。

CDC使用基于日志的变更数据捕获,最大程度地减少对源系统的影响。

系统架构:

1.      管理和监控(Management&Monitor),管理监控组件用于维护和配置数据捕获与分发流程

2.      捕捉 (Capture),用于访问源端数据库读取在线日志或归档日志,提取其中数据的变更如增、删、改等DML操作,以及ALTER,DROP,TRUNCATE等DDL操作

3.      解析 (Parser),用于将原始SQL语句解析成原始java对象,并表示对象的操作类型,如(INSERT/UPDATE/DELETE/ALTER…)

4.      过滤 (Filter),用于将数据合并为顺序的事务,通过系统内置过滤规则,将未提交的数据过滤,通过系统配置过滤规则,过滤大事务、长事务、提交人过滤等

5.      格式化 (Formater),用于将原始的SQL数据格式化为标准的java 统一格式对象

6.      持久化 (Persister),用于将数据存储至持久化至数据存储区

7.      任务(Job,Tipic, Scheduler),用于编排Capture、Parser、Filter、Formater、Persister等执行流程和规则,定义数据同步主题以及调度程序

8.      发布(Publisher),发布组件,用于将分析的数据发布至数据应用业务接口

9.      订阅(Subscriter),提供数据订阅接口,供数据应用业务订阅

10.   分发 (Deliver),接收格式化进程提供的数据,将数据依据事务顺序和操作分发至目标数据应用系统

11.   元数据(Metadata),元数据模块是基础模块,用于定义数据字典模型,配置期定义捕获业务以及运行期数据格式转换等功能

12.   数据存储区(Stage Area),用于存储变更的数据,可作为临时数据缓冲区,也同时可以作为数据共享区被其他业务系统访问

13.   元数据库(Metadata Repository),用于存储系统内所有配置信息,包括任务配置信息、数据源信息、数据字典信息以及系统参数以及运行日志等信息


Bigdata& Cloud Solutions

探索ETL数据集成套件

云计算与大数据

数据仓库建设服务

数据中心业务应用系统软件开发,包括:数据仓库基础功能平台(含数据基础平台)、业务应用软件(以运营、维保管理业务为对象,建···

云计算与大数据

数据集成治理套件

从奥软件公司数据集成软件套件是一系列数据整合产品集合,包含数据采集、数据交换,数据转换清洗、数据质量管理、数据比对···

云计算与大数据

数据目录平台

信息资源,特别是政务信息资源,是一个国家信息资源的主要组成部分,它是政府部门在履行管理国家行政事务职责的业务过程中和政务···

云计算与大数据

数据转换与清洗

现在,企业所烦恼的不再是数据匮乏,而是无法在正确的时间获得正确的数据。政府机构面临的挑战不再是信息的孤岛,而是对各类数据···

云计算与大数据

数据交换平台

数据集成概述数据集成是指把不同来源、格式、特点的数据在逻辑上或物理上有机地集中,从而为业务单元提供全面的数据共享。通过数···

云计算与大数据

数据比对系统

不断增长的结构化和非结构化数据增加了信息管理的复杂性,同时客户希望在跨异构环境中能更出色地管理数据,企业需要数据高度可用···

云计算与大数据

分布式内存数据库

以内存为中心的分布式数据库、缓存和处理平台,用于事务性、分析性和流式工作负载,提供内存速度在PB级规模。为应用和不同···

OUR CLIENTS

合作伙伴

50+

超过50+大型客户

100+

超过100+个上线项目

30+

超过30+战略合作伙伴

80+

超过80+套解决方案
力登科技
领保网络
华美银行
互动电视
知韬文化
accommate
NUSKIN China
MERCK
NOVURA
sanders
东方明珠
江岸区政府
中国电信
中国工商银行
士锦名品
西装定制公司
中信保诚
东方体育中心
华为中国公司
第一三共
call to action

变更数据捕获案例

contact

与我们取得联系!

联系电话

售前咨询

18018519600(微信)

ca@congao.com.cn

通信地址

上海市闵行区集心路268号前瞻科技LAB 1层

邮编:201100

电话:021-54299131

售前微信