InfoSphere Change Data Capture授权购买
下载:175 收藏:0

InfoSphere Change Data Capture (产品编号:13813)

  1024程序员节18888元优惠大礼包限时领取中

在跨平台和异构数据库环境中实现变化数据的实时复制

标签:大数据数据分析大数据处理

开发商: IBM

当前版本: 10.2.1

产品类型:软件

产品功能:其它

平台语言:

开源水平:不提供源码

用户推荐:

用户评分:

本产品的分类与介绍仅供参考,具体以商家网站介绍为准,如有疑问请来电 023-68661681 咨询。

同类软件推荐:

Kentico CMS
Kentico CMS

提供强大的编辑界面与服务器端的控件,让您轻松管理网站内容

Polar SpellChecker
Polar SpellChecker

为基于Windows的应用程序添加拼写检查功能

阅读更多
InfoSphere Change Data Capture 能够近乎实时地复制异构数据,以支持数据迁移、应用程序整合、数据同步、动态仓储、主数据管理 (MDM)、业务分析和数据质量流程。该低延迟软件现在是 IBM InfoSphere Data Replication 的组成部分。它支持企业数据量,同时维护交易的完整性和一致性。
需要培训、定制、外包?请联系我们!企业QQ:800018081 慧都专业技术团队帮助您提高效率,节省成本,降低风险!

关于本产品的分类与介绍仅供参考,精准产品资料以官网介绍为准,如需购买请先行测试。

InfoSphere CDC 复制原理

InfoSphere CDC 能够对包括数据仓库,主数据管理,BI,SOA 等在内的应用整合及升级项目提供高速、可靠、低延迟的数据复制方案,而且对生产系统低影响。由于只复制变化的数据,减少了处理的开销和占用的带宽。复制可以是持续的也可以是周期性的。

图 1 CDC 架构图:

sphere cdc

CDC 的关键组件主要的组成部分包括:

Access Server(AS):用户配置和监控 CDC 引擎的安全管理工具,支持图形化界面(V6.5 之后集成在 MC 中)及命令行。当用户登录 Management Console,就会连接到 AS。在客户端关闭 AS,不会影响源服务器到目标服务器到数据复制。

Management Console(MC):CDC 的图形化界面工具,允许用户配置、监控和管理在多个不同服务器上到数据复制,可以在客户端上指定复制的参数,初始化刷新和镜像。MC 也允许用户监控复制操作、延迟、事件消息和其他源和目标 datastore 支持的统计数据。

源端引擎:读取源端数据库的日志文件捕获变更数据,经过行列过滤,字符编码转换后由 TCP/IP 发送给目标端。

目标端引擎:接收源端发送的变更数据,经过数值转换,字符编码转换,冲突检测后将变更数据应用到目标数据库。

Metadata:存储 CDC 实例的配置信息,包括数据库连接信息,预定信息以及表的映射信息等,同时记录当前的复制进行状态

源和目标 Datastore(数据存储):存储的是数据文件和数据复制需要的 InfoSphere CDC 实例信息。每个 datastore 代表了一个用户要连接的数据库,存储要复制的表。

多数的 CDC 引擎既可作为源端引擎捕获变化数据又可作为目标端引擎接收变化数据并将其应用于指定的数据库;通常,CDC 引擎称为 CDC 实例,如果从 AS/MC 的角度,一个 CDC 引擎也被称作一个 CDC 数据存储。

图 2 CDC 处理数据的流向图

spere cdc

1、当 CDC 处于复制状态的时候,CDC 源端引擎中的 log reader 组件将会不停的从源端数据库日志中捕获所有要复制表的新变化的日志。

2、而 CDC 源端引擎中的 log parser 组件则将这些变化日志中跟 CDC 需要复制的表相关的日志找出来并根据其所属的 transaction ID 放在不同的 transaction queue 中。Transaction queue 是 log parser 在内存在分配的一片区域,专门存放没有提交的跟 CDC 复制表相关的事务信息。每个 Transaction queue 会写在以“txnq”做前缀的文件里,此文件在“/tmp”下可以找到。如果 txnq 开头的文件大小大于 0 字节,说明在处理非常大的还没有提交的事务。当订阅停止后,transaction queue 里的内容会存放在 pointbase 容器里。

3、当 CDC 读到 commit 触发一个事务结束时,该 transaction queue 将其内容提交给 Staging Store 后会释放相应的内存空间。Staging Store 是 CDC 分配的存放已提交的事务信息的内存区域,目标端引擎会自动从 Staging Store 中抽取出其当前要复制的事务信息,一旦数据复制到里目标端,该记录就会从 Staging Store 中删除。

其中 1, 2, 3 是数据在源端引擎的流向。

4、复制表的事务信息通过 TCP/IP 传送至目标端。可以利用类似 sniffer 的工具来查看持续的在网络上的数据流。也可以通过 MC 的“activity monitor”来监控复制的数据情况。

5、目标段将抽取过来的事务信息经过必要的转换重新组装成 SQL 语句。

6、将组装好的 SQL 语句应用于目标数据库,并更新 bookmark 信息(这个 bookmark 信息是为了保证数据的一致性,当由于某种原因复制中断后,在下次 CDC 重启后,目标端的 bookmark 信息首先被传到源端,从而源端从最后一个成功应用到目标数据库的日志开始复制),整个数据复制过程完成。

其中 5, 6 是数据在目标引擎的流向。


InfoSphere Change Data Capture 提供:

低影响数据捕获

  • 基于日志的技术可近乎实时地复制关键业务型数据事件而不影响系统性能。

  • 仅捕获变更的数据并将其从发布者传输到订户系统。

  • 基于内容,动态地将数据路由到由一个或多个应用程序使用的各种消息队列。

  • 无需数据登台或网关技术。

  • 在高度安全的环境中交付敏感数据,并使其仅由授权接收方访问。

灵活简单的数据交付

  • 提供一个 GUI,帮助支持更快速地数据集成流程部署。

  • 提供监控功能,加速故障诊断与排除。

  • 支持单向、双向、多到一和一到多的数据交付。

  • 使用实时审计功能来提供源表的变更历史记录。

与 IBM 和其他系统集成

  • 与 IBM InfoSphere DataStage® 集成,提供数据订阅源,进而抽取、变换和装入 (ETL) 流程并保持事务完整性。基于定义的数据规则更快地进行变更数据有效性检查。

  • 将元数据集成到 IBM InfoSphere Metadata Workbench,使诸如影响力分析和数据沿袭的功能扩展到其余信息管理基础架构。

  • 将数据事务打包到 XML 文档并交付给 IBM WebSphere® MQ 之类的消息传递中间件,进而支持面向服务架构 (SOA)。

  • 现在作为 IBM InfoSphere Data Replication for DB2 for z/OS® 的组成部分,它与 IBM InfoSphere Change Data Capture for z/OS 和 IBM InfoSphere Replication Server 集成,针对分布式和 IBM System z® 环境提供广泛的数据库和操作系统支持。

  • 支持 IBM DB2®、IBM i、IBM Informix®、Oracle、Sybase、Microsoft SQL Server、IBM IMS™ 和 Teradata 数据库。

类型 标题 发布时间
文章 【工业4.0】领跑工厂智能制造 工业4.0工具汇集

随着工业4.0(第四次工业革命)的到来,工厂智能化已经被更多的企业认可和采纳,智能制造已经是制造企业的共同追求,传统完全依靠人力的制造业正在被快速淘汰。工业4.0,助力智能制造,你需要以下工具。

2018-03-06 13:29:32.000
文章 大数据为何这么重要?

在这10年中,几乎所有行业都或多或少的受到大数据的影响。科技渗透到各个领域,并且已经成为每个处理单元的必要元素。谈到IT行业,具体来说,软件和自动化是最基本的术语,并且用于处理循环的每个阶段

2017-11-16 09:44:32.000

更新时间:2016-12-30 17:49:10.000 | 录入时间:2016-02-29 10:55:38.000 | 责任编辑:佚名

登录 慧都网发表评论


数控小J 2016-02-29 16:46:56.000
0

对的,针对实时的动态数据进行复制处理,如需试用请咨询在线客服,我们会根据你的需求来提供相应的使用版,希望可以帮到你!


数控小J 2016-02-29 16:44:16.000
0

可以的,此款产品专门针对变化的异构数据进行实时复制,希望可以帮到你!


慧都网友 2016-02-29 16:23:49.000
0

对于非结构化数据没有问题吧?


慧都网友 2016-02-29 16:21:31.000
0

实时复制数据?不错、有没有试用版呢


title
title
厂商推荐
Cognos Analytics

工业4.0优选产品 | 商业智能和绩效管理软件领导者,帮助企业成为业绩最佳的分析驱动型企业

SPSS Modeler

工业4.0优选产品 | 在历史数据中发现规律以预测未来事件,做出更好的决策,实现更好的成效

Cognos TM1

Cognos TM1 是用于分析财务、运营、客户和职员数据的商业绩效管理软件

SPSS Analytic Server

从大数据中有效产生预测和建议

Cognos Controller

一款财务合并软件,支持完整的结算、合并和报表流程

相关产品
ISDataSource

为 Intersoft data-bound 组件提供 Hierarchical Data 绑定

Customer's Canvas

一款用户友好型的打印设计工具

SearchUnit

专为Web应用程序量身打造的现代化的、灵活的全功能ASP.NET搜索引擎组件。

DbNetSuiteVS

专为Visual Studio集成的轻量级ASP.NET套包

Kentico CMS

提供强大的编辑界面与服务器端的控件,让您轻松管理网站内容

相关厂商
在线客服 在线QQ 电话咨询
400-700-1020
反馈
在线客服系统
live chat