InfoSphere Change Data Capture

在跨平台和异构数据库环境中实现变化数据的实时复制

产品类型: 软件 产品功能: 其它 平台语言: 源码: 不提供源码 产品编号: 13813
  • 当前版本:10.2.1 [销售以商家最新版为准,如需其他版本,请来电咨询]
  • 开  发 商:IBM 正式授权

关于本产品的分类与介绍仅供参考,具体以商家网站介绍为准。加企业QQ:800018081 咨询该产品

InfoSphere Change Data Capture 能够近乎实时地复制异构数据,以支持数据迁移、应用程序整合、数据同步、动态仓储、主数据管理 (MDM)、业务分析和数据质量流程。该低延迟软件现在是 IBM InfoSphere Data Replication 的组成部分。它支持企业数据量,同时维护交易的完整性和一致性。
需要培训、定制、外包?请联系我们!企业QQ:800018081 慧都专业技术团队帮助您提高效率,节省成本,降低风险!

InfoSphere CDC 复制原理

InfoSphere CDC 能够对包括数据仓库,主数据管理,BI,SOA 等在内的应用整合及升级项目提供高速、可靠、低延迟的数据复制方案,而且对生产系统低影响。由于只复制变化的数据,减少了处理的开销和占用的带宽。复制可以是持续的也可以是周期性的。

图 1 CDC 架构图:

sphere cdc

CDC 的关键组件主要的组成部分包括:

Access Server(AS):用户配置和监控 CDC 引擎的安全管理工具,支持图形化界面(V6.5 之后集成在 MC 中)及命令行。当用户登录 Management Console,就会连接到 AS。在客户端关闭 AS,不会影响源服务器到目标服务器到数据复制。

Management Console(MC):CDC 的图形化界面工具,允许用户配置、监控和管理在多个不同服务器上到数据复制,可以在客户端上指定复制的参数,初始化刷新和镜像。MC 也允许用户监控复制操作、延迟、事件消息和其他源和目标 datastore 支持的统计数据。

源端引擎:读取源端数据库的日志文件捕获变更数据,经过行列过滤,字符编码转换后由 TCP/IP 发送给目标端。

目标端引擎:接收源端发送的变更数据,经过数值转换,字符编码转换,冲突检测后将变更数据应用到目标数据库。

Metadata:存储 CDC 实例的配置信息,包括数据库连接信息,预定信息以及表的映射信息等,同时记录当前的复制进行状态

源和目标 Datastore(数据存储):存储的是数据文件和数据复制需要的 InfoSphere CDC 实例信息。每个 datastore 代表了一个用户要连接的数据库,存储要复制的表。

多数的 CDC 引擎既可作为源端引擎捕获变化数据又可作为目标端引擎接收变化数据并将其应用于指定的数据库;通常,CDC 引擎称为 CDC 实例,如果从 AS/MC 的角度,一个 CDC 引擎也被称作一个 CDC 数据存储。

图 2 CDC 处理数据的流向图

spere cdc

1、当 CDC 处于复制状态的时候,CDC 源端引擎中的 log reader 组件将会不停的从源端数据库日志中捕获所有要复制表的新变化的日志。

2、而 CDC 源端引擎中的 log parser 组件则将这些变化日志中跟 CDC 需要复制的表相关的日志找出来并根据其所属的 transaction ID 放在不同的 transaction queue 中。Transaction queue 是 log parser 在内存在分配的一片区域,专门存放没有提交的跟 CDC 复制表相关的事务信息。每个 Transaction queue 会写在以“txnq”做前缀的文件里,此文件在“/tmp”下可以找到。如果 txnq 开头的文件大小大于 0 字节,说明在处理非常大的还没有提交的事务。当订阅停止后,transaction queue 里的内容会存放在 pointbase 容器里。

3、当 CDC 读到 commit 触发一个事务结束时,该 transaction queue 将其内容提交给 Staging Store 后会释放相应的内存空间。Staging Store 是 CDC 分配的存放已提交的事务信息的内存区域,目标端引擎会自动从 Staging Store 中抽取出其当前要复制的事务信息,一旦数据复制到里目标端,该记录就会从 Staging Store 中删除。

其中 1, 2, 3 是数据在源端引擎的流向。

4、复制表的事务信息通过 TCP/IP 传送至目标端。可以利用类似 sniffer 的工具来查看持续的在网络上的数据流。也可以通过 MC 的“activity monitor”来监控复制的数据情况。

5、目标段将抽取过来的事务信息经过必要的转换重新组装成 SQL 语句。

6、将组装好的 SQL 语句应用于目标数据库,并更新 bookmark 信息(这个 bookmark 信息是为了保证数据的一致性,当由于某种原因复制中断后,在下次 CDC 重启后,目标端的 bookmark 信息首先被传到源端,从而源端从最后一个成功应用到目标数据库的日志开始复制),整个数据复制过程完成。

其中 5, 6 是数据在目标引擎的流向。


InfoSphere Change Data Capture 提供:

低影响数据捕获

  • 基于日志的技术可近乎实时地复制关键业务型数据事件而不影响系统性能。

  • 仅捕获变更的数据并将其从发布者传输到订户系统。

  • 基于内容,动态地将数据路由到由一个或多个应用程序使用的各种消息队列。

  • 无需数据登台或网关技术。

  • 在高度安全的环境中交付敏感数据,并使其仅由授权接收方访问。

灵活简单的数据交付

  • 提供一个 GUI,帮助支持更快速地数据集成流程部署。

  • 提供监控功能,加速故障诊断与排除。

  • 支持单向、双向、多到一和一到多的数据交付。

  • 使用实时审计功能来提供源表的变更历史记录。

与 IBM 和其他系统集成

  • 与 IBM InfoSphere DataStage® 集成,提供数据订阅源,进而抽取、变换和装入 (ETL) 流程并保持事务完整性。基于定义的数据规则更快地进行变更数据有效性检查。

  • 将元数据集成到 IBM InfoSphere Metadata Workbench,使诸如影响力分析和数据沿袭的功能扩展到其余信息管理基础架构。

  • 将数据事务打包到 XML 文档并交付给 IBM WebSphere® MQ 之类的消息传递中间件,进而支持面向服务架构 (SOA)。

  • 现在作为 IBM InfoSphere Data Replication for DB2 for z/OS® 的组成部分,它与 IBM InfoSphere Change Data Capture for z/OS 和 IBM InfoSphere Replication Server 集成,针对分布式和 IBM System z® 环境提供广泛的数据库和操作系统支持。

  • 支持 IBM DB2®、IBM i、IBM Informix®、Oracle、Sybase、Microsoft SQL Server、IBM IMS™ 和 Teradata 数据库。

类型 标题 发布时间
文章 智能语音交流成未来家电标配

3月初,2017年AWE在上海落下帷幕,人工智能技术成为其中最大亮点,家电智能化已经从最初的“联网”和“APP化”逐渐转向语音、图像、手势控制,智能化程度明显升级。

2017-03-24
文章 数据科学家们正在使用的十种程序语言和工具

意图打开数据科学的大门但却不知怎么开始?那就看一看我们整理出的10种在数据科学家和数据分析师眼中这些热门的语言和工具。

2017-03-21

更新时间:2016/12/30 17:49:10 | 录入时间:2016-02-29 | 责任编辑:陈俊吉 给他留言或建议

客服
开发商其他产品
  • i2 Enterprise Insight Analysis

    以超高速度大规模地执行普通分析和高级分析,更快利用数据做出决策

  • i2 COPLINK

    i2 COPLINK 是模块化的警务软件,可通过其他打击犯罪工具进行定制,以满足用户的特定需求,提高破案能力。

  • i2 Analyst's Notebook

    i2 Analyst's Notebook 能够及时提供具有执行力的情报,帮助发现、预测、预防和阻止犯罪、恐怖活动和欺诈活动。

  • InfoSphere Change Data Capture

    在跨平台和异构数据库环境中实现变化数据的实时复制

  • Watson Analytics

    具备理解,学习和推理能力,实现更智能的人机互动,帮助人们做出更好的决策

同类产品

联系我们


官方微信
官方微博

慧都旗下网站

友情链接

慧都科技有限公司 版权所有 Copyright 2003-2016 渝ICP备12000582号
100%正版软件