admin 管理员组文章数量: 1086019
2023年12月19日发(作者：linux实训心得)
概述：
利用主从复制+GTID的特性实现异地数据同步与读写分离。实现细节与不同于常规方案的特性。
实现背景
为了将分属两个不同集群的实例，建立同步关系。备实例会自动选择主实例中延迟较小的备机建立同步，当该主实例备机发生故障时，会自动与另一个备机建立同步关系。DCN同步建立后，主实例可写，备实例只读。这可作为一种异地容灾方案，也可作为一种异地读写方案。
DCN技术分为两步：
部分：
在主机房一主两备中，master提交事务后，写入binlog，通过mysql主从复制协议，master机将binlog传输到任意slave机，然后slave机回放relaylog，最终完成主从复制。第二部分：如图1，主备机房完成建立DCN同步后，备机房的master机会从主机房中主备延迟最小的slave机上的拉取binlog，随后回放binlog。
第二部分：
如果主机房当前已经建立DCN同步的slave机器故障了，会自动与另一个备机建立同步关系如图2
主从同步的实现异地容灾方案比较成熟，但仍需要解决一些核心问题。
1. 由于存在“级联复制”的情况，那么如何准备的计算延迟？
2. 如果实例需要进行扩容时，同步关系否收到影响，作为异地读写分离的场景，级联节数据延迟扩如何解决？
针对上述问题：
1. 计算延迟
a) 不采用Seconds_Behind_Master的值作为延迟依据，主机agent不停地向主机数据库写入带有当前时间戳的记录，这些记录会同步到备机数据库中备机的agent根据数据库中最新的记录与机器当前时间戳，就可以计算出实时延迟时间了，然后备机agent再将这些信息（包括实时延迟与延迟的主机信息）写入到zk中，告知其它模块，而这些信也息作为scheduler仲裁扩容的依据。
b) 如下图延迟的计算过程，在扩容的同步数据步骤中M每写入一条时间戳记录，目标实例中的所有节都会同步到该条记录，然后上报到zk中，当scheduler发现所有节的延迟小于5秒，且delayip都M（这主要防止异常）时，进入到下一个流程
2.实例进行扩容的时候，集群具备自动更新dcn同步关系的功能，并且在扩容过程中不需要人为介入，减少了延迟得影响。由程序介入，并分拆为三步：
a) 建立原实例与目标实例的同步关系
b) 检测目标实例与原实例之间的延迟，当延迟小于5S时，设置原实例只读，拒绝掉新的写入
c) 检测目标实例与原实例之间的gtid，当gtid无差别时，断原实例与目标实例之间的同步关系，并将Proxy路由切换到目标实例
d) 下图表示利用DCN进行集群扩容的流程：
i. MM表示主实例的主机，MS表示主实例备机，MSET表示主实例。SM表示备实例主机，SS表示备实例备机，SSET表示备实例。EMM表示主实例扩容的目标实例的主机，EMS表示主实例扩容的目标实例的备机，EMSET表示主实例扩容的目标实例。ESM表示备实例扩容的目标机器的主机，ESS表示备实例扩容的目标机器的备机，ESSET表示备实例扩容的目标实例
扩容流程：
（1）建立EMSET与MSET之间的扩容同步关系。
（2）检测到EMSET与MSET之间的延迟小于5秒时，断SSET与MSET之间的DCN同步关系。(提前断为了防止后续SSET的GTID的信息不被EMSET的GTID列表包含，这里的差异信息可能MM节与EMSET断后新写入ZK的时间戳记录)
（3）确认SSET与MSET之间的DCN同步关系断后，设置MSET为隔离状态（此时网关会拒绝掉所有新的连接），并向EMM节的agent扩容处理任务。
（4）当EMM节的agent接收到scheduler的扩容处理后，设置MM节只读，并计算EMM与MM节gtid的差值，当gtid无差值时，反馈scheduler任务处理成功。如果期间设置只读失败，反馈sheduler处理失败。
（5）Scheduler根据agent反馈进行区分处理，反馈成功进入步骤6，反馈失败进入步骤7。
（6）断EMSET与MSET之间的扩容同步关系，返回扩容成功，并建立EMSET与SSET之间的DCN同步关系。
（7）把MSET设置为正常状态（网关正常接收新连接），返回扩容失败，并重建MSET与SSET之间的DCN关系。
版权声明：本文标题：TdsqlDCN同步技术原理介绍 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.roclinux.cn/p/1702965426a437682.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。
发表评论