变更数据捕获

变更数据捕获

更数据捕获(CDC)是一组软件设计模式,用于确定和跟踪已改变的数据,使得操作可以快速使用改变的数据。

01

变更数据捕获

不断增长的结构化和非结构化数据增加了信息管理的复杂性,同时客户希望在跨异构环境中能更出色地管理数据。为了满足用户不断提高的需求,需要改进数据仓库、商业智能和分析等功能,提供近实时数据集成能力,变更数据捕获(CDC)是实时数据集成基础设施的重要组成部分。

在历史的数据集成项目中,往往只需要定时、批量的整合数据,这必将造成数据的延时以及组织决策的延时,当前,越来越多的组织希望能够实时的看到最新的数据,实时、增量的捕获数据是数据捕获过程的重要技术。

CDC,全名为Change Data Capture(变更数据捕获),在数据库中,变更数据捕获(CDC)是一组软件设计模式,用于确定和跟踪已改变的数据,使得操作可以快速使用改变的数据。

CDC极大的提高了数据集成效率,消除了批量的高延时问题。

CDC解决方案最常发生在数据仓库环境中,因为捕获和保存数据的跨时的状态是数据仓库的核心功能之一。

CDC主要面向关系数据库、遗留系统、大型机以及基于文件的数据库等数据源。

CDC是一款高度可扩展、可靠和易于配置的异构实时事务复制软件,能够提供异构环境下数据的实时捕捉和交付数据,以独立于创建信息的应用的方式,可实现跨异构数据源、跨网络、实时的捕获与整合数据。

CDC作为原始数据与数据应用的快速通道,帮助组织从原有系统中,近乎实时的整合变化数据,广泛应用于数据仓库实时数据供给、实时商务智能、数据备份与容灾,数据库升级和移植、双业务中心、跨越异构数据源系统和操作系统实现实时数据交付,以独立于创建信息应用的方式,最大程度地减少对源系统的影响,几乎不消耗系统资源,又能处理所需的事务量,帮助组织提升服务的质量和效率,实现更智慧的业务决策和对市场形势的更快响应。

CDC使用基于日志的变更数据捕获,最大程度地减少对源系统的影响。

系统架构:

1.      管理和监控(Management&Monitor),管理监控组件用于维护和配置数据捕获与分发流程

2.      捕捉 (Capture),用于访问源端数据库读取在线日志或归档日志,提取其中数据的变更如增、删、改等DML操作,以及ALTER,DROP,TRUNCATE等DDL操作

3.      解析 (Parser),用于将原始SQL语句解析成原始java对象,并表示对象的操作类型,如(INSERT/UPDATE/DELETE/ALTER…)

4.      过滤 (Filter),用于将数据合并为顺序的事务,通过系统内置过滤规则,将未提交的数据过滤,通过系统配置过滤规则,过滤大事务、长事务、提交人过滤等

5.      格式化 (Formater),用于将原始的SQL数据格式化为标准的java 统一格式对象

6.      持久化 (Persister),用于将数据存储至持久化至数据存储区

7.      任务(Job,Tipic, Scheduler),用于编排Capture、Parser、Filter、Formater、Persister等执行流程和规则,定义数据同步主题以及调度程序

8.      发布(Publisher),发布组件,用于将分析的数据发布至数据应用业务接口

9.      订阅(Subscriter),提供数据订阅接口,供数据应用业务订阅

10.   分发 (Deliver),接收格式化进程提供的数据,将数据依据事务顺序和操作分发至目标数据应用系统

11.   元数据(Metadata),元数据模块是基础模块,用于定义数据字典模型,配置期定义捕获业务以及运行期数据格式转换等功能

12.   数据存储区(Stage Area),用于存储变更的数据,可作为临时数据缓冲区,也同时可以作为数据共享区被其他业务系统访问

13.   元数据库(Metadata Repository),用于存储系统内所有配置信息,包括任务配置信息、数据源信息、数据字典信息以及系统参数以及运行日志等信息


02

ETL数据集成套件

公司特色服务包括数据抽取、转换、加载ETL工具开发,主数据管理,云原生应用开发,ESB企业总线实施,大数据计算集群监控管理,边缘计算平台构建等。从数据端的采集到计算分析及机器学习模型建立,到最终的业务应用分析全生命周期的大数据云计算应用实施。

03

探索ETL数据集成套件

CDC,全名为Change Data Capture(变更数据捕获),在数据库中,变更数据捕获(CDC)是一组软件设计模式,用于确定和跟踪已改变的数据,使得操作可以快速使用改变的数据。

  • 数据仓库建设服务

    数据仓库建设服务

    数据仓库建设服务

    数据中心业务应用系统软件开发,包括:数据仓库基础功能平台(含数据基础平台)、业务应用软件(以运营、维保管理业务为对象,建立活动、客流、生产过程管理等主题数据库及

  • 数据集成治理套件

    数据集成治理套件

    数据集成治理套件

    概述从奥软件公司数据集成软件套件是一系列数据整合产品集合,包含数据采集、数据交换,数据转换清洗、数据质量管理、数据比对、统一数据服务、数据目录平台、应用数据连接

  • 数据目录平台

    数据目录平台

    数据目录平台

    信息资源,特别是政务信息资源,是一个国家信息资源的主要组成部分,它是政府部门在履行管理国家行政事务职责的业务过程中和政务信息化过程中产生的、有利用价值的、数字化

  • 数据转换与清洗

    数据转换与清洗

    数据转换与清洗

    现在,企业所烦恼的不再是数据匮乏,而是无法在正确的时间获得正确的数据。政府机构面临的挑战不再是信息的孤岛,而是对各类数据进行整合。由于组织结构和管理模式等方面的

  • 数据交换平台

    数据交换平台

    数据交换平台

    数据集成概述数据集成是指把不同来源、格式、特点的数据在逻辑上或物理上有机地集中,从而为业务单元提供全面的数据共享。通过数据集成,可以访问所有分散的数据,可以对核

  • 数据比对系统

    数据比对系统

    数据比对系统

    不断增长的结构化和非结构化数据增加了信息管理的复杂性,同时客户希望在跨异构环境中能更出色地管理数据,企业需要数据高度可用,需要能够不间断地访问数据,同时不会导致

  • 分布式内存数据库

    分布式内存数据库

    分布式内存数据库

    概述 以内存为中心的分布式数据库、缓存和处理平台,用于事务性、分析性和流式工作负载,提供内存速度在PB级规模。为应用和不同的数据源之间提供一个高性能、分布式内存中

04

实施案例介绍

CDC,全名为Change Data Capture(变更数据捕获),在数据库中,变更数据捕获(CDC)是一组软件设计模式,用于确定和跟踪已改变的数据,使得操作可以快速使用改变的数据。

05

SSIS数据交换实施

采用微软SQL Server数据库组件SSIS作为ETL工具,实现业务系统数据集成到数仓数据仓库采用SQL Server 2016,部署到本地IDC机房SSIS部署到Azure云端,具有7*24监控机制数据源包括SQL Server, SAP, EXCELPortal导入数据、更新数据、日志管理,软件界面语言中文建设内容包括:SSIS抽取EXCEL数据并分发到业务系统数据库Portal管理建设IDC数据库本机备份,异机备份,云端备份Portal定制开发用户认证与鉴权。SSIS任务管理。通过SSIS应用日志···

查看详情

移动用户行为分析平台

1000万级用户访问用户行为分析:实时采集移动用户的行为数据,如启动程序、会话时长、页面跳转、完成预设任务等。根据行为数据分析用户行为,向移动应用运营商提供用户运营支撑服务。移动广告投放效果分析:从移动广告的链接展示开始,记录链接点击、谷歌商店下载、应用安装等一系列行为,以此计算移动广告投放转化率,为移动广告供应链提供广告投放效果分析服务。整合移动广告投放效果分析与用户行为分析,建立移动用户全生命周期···

查看详情

大数据智能仓储平台

一套提供生产制造信息化、自动化、智能化的软硬件整体解决方案,系统基于大数据文本分析技术、分类聚类算法、TensorFlow深度学习框架而构建的智能化仓储管理系统。通过自动仓储、自动搬运、自动化生产设备、自动化检测设备与信息化软件进行集成,对整个生产过程实现数据采集、过程监控、TPM设备管理、质量管理、生产调度以及数据统计分析,从而实现生产现场的信息化、智能化和柔性化的智能制造管理。包括智能补货预测,智能调拨分···

查看详情

企业财报自动抓取系统

一套做数据抓取入数据库,实现计算的决策引擎工具,业务人员可以自由条件判断组合计算,主要包含四大模块:1)财报辨伪评分 2)流水交叉核验 3)其它交叉核验 4)企业财务行 为评分,最终返回评分和风险提示到系统界面供客户参考。1、 登录查询界面PC 端 后台通过邮箱号或手机号等生成账号,交由客户自己安装,远程控制客户软件使用次数或时间权限。 页面分为两大类:上市公司&非上市公司上市公司——客户输入需查询企业的股票···

查看详情

移动追溯防窜货系统

一套软件系统通过扫码追溯产品流通渠道地域等信息。系统承载方式为微信公众号或者手机直接进入H5页面登录使用。系统包括公众号后台管理系统、公众号前端H5页面和数据导出解析模块三个主要模块。后台管理系统:管理员登录工作人员登录鉴权工作人员用户管理经销商信息导入经销商信息可以批量增量导入,第一次对经销商扫码时工作人员也可以通过H5页面录入经销商信息,第二次之后直接选择现有经销商;工作人员扫码使用前需要登录,后台···

查看详情