企业智能化解决方案服务商

InfoSphere Change Data Capture

在跨平台和异构数据库环境中实现变化数据的实时复制

产品类型: 软件 产品功能: 其它 平台语言: 源码: 不提供源码 产品编号: 13813
  • 当前版本:10.2.1 [销售以商家最新版为准,如需其他版本,请来电咨询]
  • 开  发 商:IBM 正式授权

关于本产品的分类与介绍仅供参考,具体以商家网站介绍为准。加企业QQ:800018081 咨询该产品

InfoSphere Change Data Capture 能够近乎实时地复制异构数据,以支持数据迁移、应用程序整合、数据同步、动态仓储、主数据管理 (MDM)、业务分析和数据质量流程。该低延迟软件现在是 IBM InfoSphere Data Replication 的组成部分。它支持企业数据量,同时维护交易的完整性和一致性。

需要培训、定制、外包?请联系我们!企业QQ:800018081 慧都专业技术团队帮助您提高效率,节省成本,降低风险!

关于本产品的分类与介绍仅供参考,精准产品资料以官网介绍为准,如需购买请先行测试。

InfoSphere CDC 复制原理

InfoSphere CDC 能够对包括数据仓库,主数据管理,BI,SOA 等在内的应用整合及升级项目提供高速、可靠、低延迟的数据复制方案,而且对生产系统低影响。由于只复制变化的数据,减少了处理的开销和占用的带宽。复制可以是持续的也可以是周期性的。

图 1 CDC 架构图:

sphere cdc

CDC 的关键组件主要的组成部分包括:

Access Server(AS):用户配置和监控 CDC 引擎的安全管理工具,支持图形化界面(V6.5 之后集成在 MC 中)及命令行。当用户登录 Management Console,就会连接到 AS。在客户端关闭 AS,不会影响源服务器到目标服务器到数据复制。

Management Console(MC):CDC 的图形化界面工具,允许用户配置、监控和管理在多个不同服务器上到数据复制,可以在客户端上指定复制的参数,初始化刷新和镜像。MC 也允许用户监控复制操作、延迟、事件消息和其他源和目标 datastore 支持的统计数据。

源端引擎:读取源端数据库的日志文件捕获变更数据,经过行列过滤,字符编码转换后由 TCP/IP 发送给目标端。

目标端引擎:接收源端发送的变更数据,经过数值转换,字符编码转换,冲突检测后将变更数据应用到目标数据库。

Metadata:存储 CDC 实例的配置信息,包括数据库连接信息,预定信息以及表的映射信息等,同时记录当前的复制进行状态

源和目标 Datastore(数据存储):存储的是数据文件和数据复制需要的 InfoSphere CDC 实例信息。每个 datastore 代表了一个用户要连接的数据库,存储要复制的表。

多数的 CDC 引擎既可作为源端引擎捕获变化数据又可作为目标端引擎接收变化数据并将其应用于指定的数据库;通常,CDC 引擎称为 CDC 实例,如果从 AS/MC 的角度,一个 CDC 引擎也被称作一个 CDC 数据存储。

图 2 CDC 处理数据的流向图

spere cdc

1、当 CDC 处于复制状态的时候,CDC 源端引擎中的 log reader 组件将会不停的从源端数据库日志中捕获所有要复制表的新变化的日志。

2、而 CDC 源端引擎中的 log parser 组件则将这些变化日志中跟 CDC 需要复制的表相关的日志找出来并根据其所属的 transaction ID 放在不同的 transaction queue 中。Transaction queue 是 log parser 在内存在分配的一片区域,专门存放没有提交的跟 CDC 复制表相关的事务信息。每个 Transaction queue 会写在以“txnq”做前缀的文件里,此文件在“/tmp”下可以找到。如果 txnq 开头的文件大小大于 0 字节,说明在处理非常大的还没有提交的事务。当订阅停止后,transaction queue 里的内容会存放在 pointbase 容器里。

3、当 CDC 读到 commit 触发一个事务结束时,该 transaction queue 将其内容提交给 Staging Store 后会释放相应的内存空间。Staging Store 是 CDC 分配的存放已提交的事务信息的内存区域,目标端引擎会自动从 Staging Store 中抽取出其当前要复制的事务信息,一旦数据复制到里目标端,该记录就会从 Staging Store 中删除。

其中 1, 2, 3 是数据在源端引擎的流向。

4、复制表的事务信息通过 TCP/IP 传送至目标端。可以利用类似 sniffer 的工具来查看持续的在网络上的数据流。也可以通过 MC 的“activity monitor”来监控复制的数据情况。

5、目标段将抽取过来的事务信息经过必要的转换重新组装成 SQL 语句。

6、将组装好的 SQL 语句应用于目标数据库,并更新 bookmark 信息(这个 bookmark 信息是为了保证数据的一致性,当由于某种原因复制中断后,在下次 CDC 重启后,目标端的 bookmark 信息首先被传到源端,从而源端从最后一个成功应用到目标数据库的日志开始复制),整个数据复制过程完成。

其中 5, 6 是数据在目标引擎的流向。


InfoSphere Change Data Capture 提供:

低影响数据捕获

  • 基于日志的技术可近乎实时地复制关键业务型数据事件而不影响系统性能。

  • 仅捕获变更的数据并将其从发布者传输到订户系统。

  • 基于内容,动态地将数据路由到由一个或多个应用程序使用的各种消息队列。

  • 无需数据登台或网关技术。

  • 在高度安全的环境中交付敏感数据,并使其仅由授权接收方访问。

灵活简单的数据交付

  • 提供一个 GUI,帮助支持更快速地数据集成流程部署。

  • 提供监控功能,加速故障诊断与排除。

  • 支持单向、双向、多到一和一到多的数据交付。

  • 使用实时审计功能来提供源表的变更历史记录。

与 IBM 和其他系统集成

  • 与 IBM InfoSphere DataStage® 集成,提供数据订阅源,进而抽取、变换和装入 (ETL) 流程并保持事务完整性。基于定义的数据规则更快地进行变更数据有效性检查。

  • 将元数据集成到 IBM InfoSphere Metadata Workbench,使诸如影响力分析和数据沿袭的功能扩展到其余信息管理基础架构。

  • 将数据事务打包到 XML 文档并交付给 IBM WebSphere® MQ 之类的消息传递中间件,进而支持面向服务架构 (SOA)。

  • 现在作为 IBM InfoSphere Data Replication for DB2 for z/OS® 的组成部分,它与 IBM InfoSphere Change Data Capture for z/OS 和 IBM InfoSphere Replication Server 集成,针对分布式和 IBM System z® 环境提供广泛的数据库和操作系统支持。

  • 支持 IBM DB2®、IBM i、IBM Informix®、Oracle、Sybase、Microsoft SQL Server、IBM IMS™ 和 Teradata 数据库。

类型 标题 发布时间
文章 【工业4.0】领跑工厂智能制造 工业4.0工具汇集

随着工业4.0(第四次工业革命)的到来,工厂智能化已经被更多的企业认可和采纳,智能制造已经是制造企业的共同追求,传统完全依靠人力的制造业正在被快速淘汰。工业4.0,助力智能制造,你需要以下工具。

2018-03-06
文章 大数据为何这么重要?

在这10年中,几乎所有行业都或多或少的受到大数据的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是最基本的术语,并且用于处理循环的每个阶段

2017-11-16

更新时间:2016/12/30 17:49:10 | 录入时间:2016-02-29 | 责任编辑:蒋永 给他留言或建议

客服
开发商其他产品
  • SPSS Statistics Subscription

    利用不同的数据统计分析模块帮助企业提高生产力并取得更好的成果

  • i2 Enterprise Insight Analysis

    以超高速度大规模地执行普通分析和高级分析,更快利用数据做出决策

  • i2 COPLINK

    i2 COPLINK 是模块化的警务软件,可通过其他打击犯罪工具进行定制,以满足用户的特定需求,提高破案能力。

  • i2 Analyst's Notebook

    i2 Analyst's Notebook 能够及时提供具有执行力的情报,帮助发现、预测、预防和阻止犯罪、恐怖活动和欺诈活动。

  • InfoSphere Change Data Capture

    在跨平台和异构数据库环境中实现变化数据的实时复制

  • SPSS Statistics Premium

    帮助多种高级分析需求的企业提高生产力并取得更好的成果

  • SPSS Statistics Professional

    提供的高级程序能够帮助您加快对复杂数据的分析

  • SPSS Regression

    使您能够预测分类结果,并应用各种非线性回归过程

同类产品
  • Stimulsoft Dashboards.JS

    Stimulsoft Reports.JS是一个使用JavaScript和HTML5生成报告的平台。它具有设计、编辑和查看报告所需的所有组件。

  • Stimulsoft Dashboards.WIN

    Stimulsoft Dashboards.WIN是一个功能齐全的工具,用于在仪表板上进行转换、分析、分组、过滤、排序和显示数据。

  • Stimulsoft Dashboards.WEB

    Stimulsoft Dashboards.WEB是一个用于为ASP.NET、ASP.NET MVC和.NET Core平台设计仪表板的工具,用于ASP.NET/ASP.NET MVC和.NET Core的仪表板。

  • MindfFusion JavaScript Virtual Keyboard

    MindfFusion JavaScript Virtual Keyboard是JavaScript中的虚拟键盘,适用于在触摸屏设备上运行的APP。

  • MindFusion Java Swing Virtual Keyboard

    MindFusion Java Swing Virtual Keyboard是用于Java Swing软件的屏幕键盘。

  • MindFusion WinForms Virtual Keyboard

    MindFusion WinForms Virtual Keyboard是适用于每个WinForms应用程序的全功能屏幕键盘,内置键盘布局、主题和广泛的API文档。

  • MindFusion Wpf Virtual Keyboard

    MindFusion Wpf Virtual Keyboard是一款外观和感觉像移动应用程序的WPF应用程序,可提供与触摸屏应用程序相同的可访问性。

  • CodeMix

    CodeMix是一款解锁了VS Code的各种技术以及为Code OSS构建的附加扩展的插件。

  • iSpring TalkMaster

    iSpring TalkMaster是一款建立有效培训和评估沟通技巧的会话模拟的软件

  • GitHub Enterprise on Premise

    以轻量级工具和功能支持您的工作流程。