OGG搭建 实现MySQLtoMySQL数据同步

目录

一、MySQL环境搭建

二、Oracle GoldenGate环境搭建

三、配置Oracle GoldenGate

四、数据同步测试

五、进程延迟监控

一、MySQL环境搭建

此次选择编译安装mysql，具体操作步骤如下：

1、前期准备

tar包：mysql-5.7.25.tar.gz、boost_1_59_0.tar.gz
yum安装cmake：yum install -y cmake
添加mysql用户：useradd mysql

2、编译安装

1.解压tar包
tar -xvf mysql-5.7.25.tar.gz -C /tmp
tar -xvf boost_1_59_0.tar.gz -C /tmp
2.在解压后目录下编译
Ⅰcmake -DCMAKE_INSTALL_PREFIX=/data/mysql -DSYSCONFDIR=/data/mysql/etc -DMYSQL_UNIX_ADDR=/data/mysql/mysql.sock -DDEFAULT_CHARSET=utf8mb4 -DMYSQL_DATADIR=/data/mysql/data -DENABLED_LOCAL_INFILE=1 -DDEFAULT_COLLATION=utf8mb4_general_ci -DWITH_BOOST=/tmp/boost_1_59_0
Ⅱmake -j 16
#此处可根据服务器CPU资源指定16个CPU并行编译，可节省时间
3.安装
make install

3、启动服务

1.赋权
chown -R mysql.mysql /data/mysql
setfacl -m mysql:rwx /data
2.进入到安装目录/data/mysql创建所需目录
mkdir etc binlog relaylog
3.编辑mysql配置文件/data/mysql/etc/my.cnf
内容如下：
[mysqld]
datadir= /data/mysql/data
socket= /data/mysql/mysql.sock
max_connections=2048
lower_case_table_names=1
port            = 3306
skip-external-locking
federated
server-id       = SERVERID
log-bin= /data/mysql/binlog/bin-log
log-bin-index= /data/mysql/binlog/bin-log.index
binlog_format=row
relay-log=/data/mysql/relaylog/relay-log
[client]
port            = 3306
socket          = /data/mysql/mysql.sock
4.将配置文件软链接到/etc下
rm -rf /etc/my.cnf
ln -s /data/mysql/etc/my.cnf /etc/my.cnf
5.数据库初始化：
/data/mysql/bin/mysqld --initialize --user=mysql
#注：该步骤执行后会提示初始密码，首次登陆mysql需要用到
6.启动mysql
/data/mysql/bin/mysqld --user=mysql &

二、Oracle GoldenGate环境搭建

1、作用

       OGG是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库的数据同步。

2、原理

       OGG的工作原理：利用捕捉进程在源系统端读取在线日志或归档日志，然后进行解析，只提取其中数据的变化如增、删、改操作，并将相关信息转换为自定义的中间格式存放在队列文件中，再利用传送进程将队列文件通过TCP/IP传送到目标系统。捕捉进程在每次读完binlog中的数据变化并在数据传送到目标系统后，会写检查点，记录当前完成捕捉的binlog位置，检查点的存在可以使捕捉进程在中止并恢复后可从检查点位置继续复制；目标系统接受数据变化并缓存到队列中，队列为一系列临时存储数据变化的文件，等待投递进程读取数据；应用进程从队列中读取数据变化并创建对应的SQL语句，通过数据库的本地接口执行，提交到数据库成功后更新自己的检查点，记录已经完成复制的位置。

①架构

       和传统的逻辑复制一样，Oracle GoldenGate 实现原理是通过抽取源端的redo log或者archive log ，然后通过TCP/IP投递到目标端，最后解析还原应用到目标端，使目标端实现同源端数据同步。图1-1 、1-2是Oracle GoldenGate 的技术架构。

                                                                       图1-1

                                                              &n