DB2-InfoSphere CDC(InfoSphere Data Replication Change Data Capture)数据复制简叙及安装使用

DB2-InfoSphere CDC(InfoSphere Data Replication Change Data Capture)数据复制简叙及安装使用

InfoSphere CDC

CDC 主要采用基于日志的变更数据捕获技术以实现对关键业务系统的实时数据复制，同时不影响业务系统性能。CDC 最大优点在于其对异构数据库的支持和与 IBM 产品的集成，为客户在数据迁移，整合，同步，动态数据仓库等应用中提供了卓越的解决方案。支持非DB2数据库，提供监控及管理环境，包括BigData架构或环境。

介绍

InfoSphere 数据复制软件不使用触发器或对数据库执行查询，而是通过读取本机数据库日志来捕获更改。对于批处理窗口缩小或过度使用应用的企业而言，这种基于日志的更改数据捕获方法有助于确保即使是在源系统上运行的要求最苛刻的任务关键型应用，其性能也不会受到不利影响。
Change Data Capture(CDC) 的前身是 DataMirror，2007 年由 IBM 收购后正式更名为 CDC，并发布了收购后的第一个版本 V6.3，现在最新的版本为 V10.2。IBM InfoSphere Data Replication 包括 InfoSphere RS（Replication Server）和 InfoSphere CDC（Change Data Capture）两个产品。该类方案均为基于数据库日志实现对数据源变化的实时捕获，并且实时传输到目标端。
1、IBM® InfoSphere® Data Replication 提供基于日志的更改数据捕获，且具有事务完整性，从而支持大规模的数据集成和整合、仓储和分析计划。它提供了在各种异构源和目标之间复制数据的灵活性。它还支持零宕机数据迁移和升级。
2、IBM InfoSphere Data Replication 还可以提供持续可用性，用于维护远程位置中的数据库副本，这样您仅需数秒而非数小时就可以将工作负载切换到这些副本。

架构及部署

基本环境需要三个组件：
（1）CDC实例引擎，简称IIDR，用于连接目标数据库进行数据捕获或数据落实的组件，可以安装在DB的本地或通过REMOTE（JDBC）的方式连接DB；
（2）Access Server，简称AS，用于连接及管理CDC引擎，配置完成后CDC引擎间会自行进行通讯，即使AS宕机也不影响CDC的正常复制（暂时没有验证过）；
（3）Management Console，简称MC，用于操作AS的UI工具，可以代替AS中的命令行操作。

Access Server(AS)：
用户配置和监控 CDC 引擎的安全管理工具，支持图形化界面（V6.5 之后集成在 MC 中）及命令行。当用户登录 Management Console，就会连接到 AS。在客户端关闭 AS，不会影响源服务器到目标服务器到数据复制。
Management Console(MC)：
CDC 的图形化界面工具，允许用户配置、监控和管理在多个不同服务器上到数据复制，可以在客户端上指定复制的参数，初始化刷新和镜像。MC 也允许用户监控复制操作、延迟、事件消息和其他源和目标 datastore 支持的统计数据。
源端引擎：
读取源端数据库的日志文件捕获变更数据，经过行列过滤，字符编码转换后由 TCP/IP 发送给目标端。
目标端引擎：
接收源端发送的变更数据，经过数值转换，字符编码转换，冲突检测后将变更数据应用到目标数据库。
Metadata：
存储 CDC 实例的配置信息，包括数据库连接信息，预定信息以及表的映射信息等，同时记录当前的复制进行状态
源和目标 Datastore（数据存储器）：
存储的是数据文件和数据复制需要的 InfoSphere CDC 实例信息。每个 datastore 代表了一个用户要连接的数据库，存储要复制的表。数据存储器是表示 InfoSphere CDC 实例的抽象概念。它保存有关复制所需的数据库和数据文件的信息。InfoSphere CDC Management Console 和 CHCCLP 命令行界面通过连接至仅一个数据存储器以与数据库进行交互。
Command Line 命令行界面：
使用 CHCCLP 从命令行完成 InfoSphere CDC Management Co