程序笔记   发布时间:2022-07-17  发布网站:大佬教程  code.js-code.com
大佬教程收集整理的这篇文章主要介绍了从理论到实战,彻底搞懂MySQL主从复制原理大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。

文章目录

    • 前言
    • 常见主从架构模式
      • 单向主从
      • 双向主从
      • 级联主从
      • 多主一从
    • 主从原理
      • 基于语句复制(STATEMENT)
      • 基于行复制(ROW)
      • 混合模式(MIXED)
    • 主从实战
      • 一主一从
      • 双向主从
      • 级联主从
      • 多主一从
    • 半同步复制
      • 实战
    • GTID

前言


@H_541_5@mySQL 主从复制也称为 MySQL 主从同步࿰c;是构建数据库高可用集群架构的基础࿰c;我们通过为服务器配置一个或多个备库的方式来进行数据同步࿰c;复制功能不仅有利于构建高性能应用࿰c;同时也是高可用性、可扩展性、灾难恢复、备份以及数据仓库等工作的基础。

复制的基本问题是解决不同服务器的数据保持同步࿰c;一台主库的数据可以同步到多台备库上࿰c;备库本身也可以被配置为另外一台服务器的主库࿰c;主库和备库之间可以有多种不同的组合方式。

常见主从架构模式


单向主从

从理论到实战,彻底搞懂MySQL主从复制原理

双向主从

从理论到实战,彻底搞懂MySQL主从复制原理

级联主从

从理论到实战,彻底搞懂MySQL主从复制原理

多主一从

从理论到实战,彻底搞懂MySQL主从复制原理

主从原理


在实战前࿰c;先理解主从复制的原理更为重要。主从复制过程中有三个线程࿰c;主库有一个工作线程 I/O dump thread࿰c;备库有两个工作线程࿰c;I/O thread 和 SQL thread

  1. 主库接收SQL请求记录到自己的 binlog 中
  2. 备库的 I/O thread 去请求主库的 binlog
  3. 主库的 I/O dump thread 给备库 I/O thread 传送 binlog
  4. 备库将得到的 binlog 写到自己的 relay log 中
  5. 备库的 SQL thread 读取 relay log 执行 SQL

从理论到实战,彻底搞懂MySQL主从复制原理

基于语句复制(STATEMENT)

在 MySQL5.0 以前只支持基于语句的复制。基于语句的复制模式下࿰c;主库会记录那些造成数据更改的操作࿰c;当备库读取并重放这些操作时࿰c;实际上只是把主库上的SQL执行一遍。好处是实现简单࿰c;简单的记录并执行这些语句࿰c;能让主备保持同步。

但实际上基于语句的复制方式有时会出问题。因为主库上的数据更新除了执行的语句外࿰c;可能还依赖于其他因素࿰c;例如࿰c;同一条 SQL 在主库和备库上的执行时间可能稍有不同࿰c;因此在传输带 binlog 中࿰c;还包括一些元数据信息࿰c;如当前的时间戳࿰c;还存在着一些无法被正确复制的 SQL࿰c;例如࿰c;CURRENT_USER() 函数的语句。存储过程和触发器在使用基于语句的复制模式时也可能存在问题。

基于行复制(ROW)

@H_541_5@mySQL5.1开始支持基于行复制࿰c;这种方式会将实际的数据记录在 binlog 中࿰c;跟其他数据库的实现很像。基于行复制的模式有优点࿰c;也有缺陷。好处是可以正确的复制每一行࿰c;一些语句可以被更加有效的复制。

也有一些情况࿰c;基于行复制的代价会比较大࿰c;例如: update tb_user set age=10;

由于这条 SQL 会更新全表࿰c;使用基于行的开销会很大࿰c;因为每一行的数据都会记录到 binlog 中࿰c;这使得 binlog 文件庞大࿰c;并且会给主库增加额外的负载。

混合模式(MIXED)

以上两种模式的混合使用࿰c;一般的复制使用 STATEMENT 模式保存 binlog࿰c;对于 STATEMENT 模式无法复制的操作使用 ROW 模式保存 binlog࿰c;R_864_11845@ySQL 会根据执行的 SQL 语句选择日志保存方式。

因为两种模式各有优缺点以及使用的场合࿰c;所以 MySQL 支持在这两种复制模式中动态切换(MIXED模式)࿰c;R_864_11845@ySQL8.0 默认使用基于行复制的方式࿰c;理论上基于行的复制模式在整体上更优࿰c;且在实际应用中适用于大多数场景。࿰c;当然也可以使用参数 binlog_format 手动指定复制的模式。

主从实战


本文操作实战环境:MySQL 8.0.26 + centos7

一主一从

1、两台服务器分别部署 MySQL࿰c;两台服务器 ip 为:

  • 主:192.168.96.95
  • 从:192.168.96.82

2、在 my.cnf 中设置 server_id:

  • 主:10000
  • 从:10001

注:更改 server_id 后需重启服务

3、开启 GTID 模式

在主库 my.cnf 中配置如下参数:

gitd_mode=on
enforce_gtid_consistency=on
log_bin=on

备库中要配置:

gitd_mode=on
enforce_gtid_consistency=on
log_slave_updates=1

4、检查主库是否开启了 log_bin 参数(MySQL8.0默认开启

@H_965_132@mysql> show variables like '%log_bin%';
+---------------------------------+-----------------------------+
| Variable_name                   | Value                       |
+---------------------------------+-----------------------------+
| log_bin                         | ON                          |
| log_bin_basename                | /var/lib/@H_367_183@mysql/binlog       |
| log_bin_index                   | /var/lib/@H_367_183@mysql/binlog.index |
| log_bin_trust_function_creators | OFF                         |
| log_bin_use_v1_row_events       | OFF                         |
| sql_log_bin                     | ON                          |
+---------------------------------+-----------------------------+
6 rows in set (0.01 sec)

5、将 binlog 格式设置为基于行复制的格式(MySQL8.0 默认为 ROW)

@H_965_132@mysql> show variables like '%binlog_format%';
+---------------+-------+
| Variable_name | Value |
+---------------+-------+
| binlog_format | ROW   |
+---------------+-------+
1 row in set (0.00 sec)

6、创建主从复制账号

# 账号:bak;密码:123456;在 96 段可用
mysql> create user 'bak'@'192.168.96.%' identified by '123456';
Query OK, 0 rows affected (0.04 sec)

mysql> grant Replication slave on *.* to 'bak'@'192.168.96.%';
Query OK, 0 rows affected (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.00 sec)

7、主库上查询状态

@H_965_132@mysql> show master status;
+---------------+----------+--------------+------------------+-------------------------------------------+
| File          | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set
 |
+---------------+----------+--------------+------------------+-------------------------------------------+
| binlog.000003 |      908 |              |                  | 62cd056a-e9f1-11eb-9218-0242ac110002:1-16 |
+---------------+----------+--------------+------------------+-------------------------------------------+
1 row in set (0.00 sec)

8、在备库上配置主从

@H_965_132@mysql>change master to MASTER_HOST='192.168.96.95',@H_367_183@mASTER_USER='bak',@H_367_183@mASTER_password='123456',@H_367_183@mASTER_LOG_FILE='binlog.000003',@H_367_183@mASTER_LOG_POS=908;
Query OK, 0 rows affected, 8 warnings (0.03 sec)

其中࿰c;参数如下:

    @H_945_11@mASTER_HOST:指定主库IP@H_945_11@mASTER_USER:之前创建的复制用户@H_945_11@mASTER_password:用户密码@H_945_11@mASTER_LOG_FILE:从备份文件中获取的当前 binlog@H_945_11@mASTER_LOG_POS:从备份文件中获取的 position 号

其中࿰c;R_864_11845@ASTER_LOG_FILE 和 MASTER_LOG_POS 参数可以指定为当前 主库中的 binlog 文件的 pos࿰c;可以先做主库的全量备份࿰c;再从主库中指定的 binlog 的 pos 开始同步。

9、备库上开启主从同步

@H_965_132@mysql> start slave;
Query OK, 0 rows affected, 1 warning (0.00 sec)

10、查看备库状态

@H_965_132@mysql> show slave statusG
*************************** 1. row ***************************
               Slave_IO_State: WaiTing for source to send event
                  Master_Host: 192.168.96.95
                  Master_User: root
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: binlog.000004
          Read_Master_Log_Pos: 2898
               Relay_Log_File: 0981bb088bd0-relay-bin.000002
                Relay_Log_Pos: 1093
        Relay_Master_Log_File: binlog.000004
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
  Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 2898
              Relay_Log_Space: 1309
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
  Replicate_Ignore_Server_Ids:
             Master_Server_Id: 10000
                  Master_UUID: 62cd056a-e9f1-11eb-9218-0242ac110002
             Master_Info_File: mysql.slave_master_info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Replica has read all relay log; waiTing for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_timestamp:
     Last_SQL_Error_timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set: 62cd056a-e9f1-11eb-9218-0242ac110002:32
            Executed_Gtid_Set: 267c5d14-e9f4-11eb-a424-0242ac110002:1-12,
62cd056a-e9f1-11eb-9218-0242ac110002:32
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 ChAnnel_Name:
           Master_TLS_Version:
       Master_public_key_path:
        Get_master_public_key: 0
            Network_Namespace:
1 row in set, 1 warning (0.00 sec)

其中࿰c;一些重要的参数:

  • Slave_IO_Running:I/O thread 状态
  • Slave_SQL_Running:SQL thread 状态
  • @H_945_11@master_Log_File:当前主库的 binlog
  • Read_Master_Log_Pos:正在读取主库当前 binlog 的 pos 位置
  • Exec_Master_Log_Pos:执行到主库 binlog 的 pos 位置

Slave_IO_Running 和 Slave_SQL_Running 两个参数都为 yes 时࿰c;代表从节点配置正确。

11、验证主从同步

在主库中执行 insert 语句࿰c;可以看到备库中成功完成了同步。

主库中 user 表记录:

从理论到实战,彻底搞懂MySQL主从复制原理

备库中 user 表记录:

从理论到实战,彻底搞懂MySQL主从复制原理

12、slave 设置为 read-only

@H_965_132@mysql> show variables like '%read_only%';
+-----------------------+-------+
| Variable_name         | Value |
+-----------------------+-------+
| innodb_read_only      | OFF   |
| read_only             | OFF   |
| super_read_only       | OFF   |
| transaction_read_only | OFF   |
+-----------------------+-------+
4 rows in set (0.01 sec)

mysql> set global read_only=1;
Query OK, 0 rows affected (0.00 sec)

一主一从的架构模式下࿰c;一般备库用来读࿰c;建议在从服务商启动 read-only 选项࿰c;这样保证从服务器上的数据仅与主服务器进行同步࿰c;避免其他线程修改数据。在启用 read-only 后࿰c;如果操作从服务器的用户没有 super 权限࿰c;则对从服务器进行任何的修改会抛出错误(read-only 对拥有 super 权限的账号是不生效的)

双向主从

双向主从架构与单向主从架构的区别是࿰c;主库支持写操作࿰c;备库去做主库同步;而双向架构࿰c;是两台主库࿰c;每台都支持写操作࿰c;其中一台更新了数据࿰c;另外一台去做同步操作࿰c;始终保持两台服务器数据一致。

1、保证两台服务器 server_id 不同 2、检查两台是否都开启了 log_bin 参数 3、检查两台 binlog 是否设置基于行复制的格式 4、创建主从复制账号 5、在两台库上分别查询当前 binlog 和 pos 6、在两台库上分别配置主从(互为主从) 7、在两台库上开启主从同步࿰c;查看备库状态信息等 8、插入数据验证双向主从架构是否实现互相数据同步

双向主从架构模式与单向主从的配置方式相似࿰c;不做赘述。 注:双向主从架构模式不得设置 read-only 为 ON

级联主从

从理论到实战,彻底搞懂MySQL主从复制原理

级联主从在单向主从架构的基础上࿰c;在第二个 slave 中设置第一个 slave 为 master 开启主从即可࿰c;配置过程不再赘述。

多主一从

从理论到实战,彻底搞懂MySQL主从复制原理

多主一从࿰c;也称多源复制࿰c;就是把多台主库的数据同步到一个备库上࿰c;备库会创建通往每个主库的管道。在 MySQL 5.7以前࿰c;只能实现 一主一从、一主多从或多主多从的架构模式。

在 slave 上配置多个 master 时指定 chAnnel 名称࿰c;同时在 start 时也根据 chAnnel 名称开启同步即可࿰c;例如:

# 配置主从
mysql>CHANGE MASTER to MASTER_HOST='192.168.96.177',@H_367_183@mASTER_USER='Root',@H_367_183@mASTER_password='123456',@H_367_183@mASTER_LOG_FILE='binlog.000020',@H_367_183@mASTER_LOG_POS=1998 for chAnnel 'master1';
Query OK, 0 rows affected, 8 warnings (0.03 sec)
# 开启同步
mysql>start slave for chAnnel 'master1';
Query OK, 0 rows affected, 1 warnings (0.03 sec)

多主一从架构中࿰c;对任意一个 master 做增删改操作时࿰c;slave 都会同步此操作。而一般情况下为了保持主从数据一致 slave 只做读操作即可。

多源复制的优点:

  • 可以集中备份࿰c;在备库上备份࿰c;不会影响线上数据库正常运行
  • 数据汇总在一起࿰c;便做数据统计

半同步复制


@H_541_5@mySQL 复制默认的方式是异步复制࿰c;也就是上面实操的࿰c;当主库把操作写入 binlog 后࿰c;并不知道备库是否已经接受并写入 relay log 了࿰c;这种异步复制的方式࿰c;如果在高可用集群架构下做主备切换࿰c;就会造成新的主库丢失数据的情况。

@H_541_5@mySQL5.5后引入了半同步复制功能࿰c;主从服务器必须同时安装半同步复制插件࿰c;才能开启该复制功能。在半复制功能下࿰c;确保备库接收完主库传递的 binlog 并写入自己的 relay log 了࿰c;才会通知主库上面的等待线程࿰c;该操作完毕。如果等待超时࿰c;超过 rpl_semi_sync_master_timeout 参数设置的时间࿰c;则关闭半同步复制࿰c;并自动转换为异步复制模式࿰c;直到至少有一台备库通知主库已经接收到 binlog 了为止。

半同步复制原理如图:

从理论到实战,彻底搞懂MySQL主从复制原理

半同步复制提升了主从之间数据的一致性࿰c;让复制更加安全可靠。

实战

1、在主库中安装半同步复制插件并开启半同步复制功能

# 安装半同步复制插件
mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so';
Query OK, 0 rows affected, 1 warning (0.07 sec)

# 开启半同步复制
mysql> set global rpl_semi_sync_master_enabled=on;
Query OK, 0 rows affected (0.00 sec)

# 查询是否开启半同步复制功能
mysql> show variables like '%semi%';
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | ON         |
| rpl_semi_sync_master_timeout              | 10000      |
| rpl_semi_sync_master_trace_level          | 32         |
| rpl_semi_sync_master_wait_for_slave_count | 1          |
| rpl_semi_sync_master_wait_no_slave        | ON         |
| rpl_semi_sync_master_wait_point           | AFTER_SYNC |
+-------------------------------------------+------------+
6 rows in set (0.03 sec)

2、在备库中安装半同步复制插件并开启半同步复制功能

@H_965_132@mysql> install plugin rpl_semi_sync_slave soname 'semisync_slave.so';
Query OK, 0 rows affected, 1 warning (0.01 sec)

mysql> set global rpl_semi_sync_slave_enabled=on;
Query OK, 0 rows affected (0.00 sec)

mysql> show variables like '%semi%';
+-------------------------------------------+------------+
| Variable_name                             | Value      |
+-------------------------------------------+------------+
| rpl_semi_sync_master_enabled              | OFF        |
| rpl_semi_sync_master_timeout              | 10000      |
| rpl_semi_sync_master_trace_level          | 32         |
| rpl_semi_sync_master_wait_for_slave_count | 1          |
| rpl_semi_sync_master_wait_no_slave        | ON         |
| rpl_semi_sync_master_wait_point           | AFTER_SYNC |
| rpl_semi_sync_slave_enabled               | ON         |
| rpl_semi_sync_slave_trace_level           | 32         |
+-------------------------------------------+------------+
8 rows in set (0.00 sec)

如果想要开机自启动半复制功能࿰c;可以将 rpl_semi_sync_master_enabled 和 rpl_semi_sync_slave_enabled 参数写到 my.cnf 中。

3、在备库中重启 I/O 线程即可激活半同步复制。

@H_965_132@mysql> stop slave io_thread;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

mysql> start slave io_thread;
Query OK, 0 rows affected, 1 warning (0.02 sec)

4、在主库中查看半同步复制功能是否正常正常运行

@H_965_132@mysql> show global status like '%semi%';
+--------------------------------------------+-------+
| Variable_name                              | Value |
+--------------------------------------------+-------+
| Rpl_semi_sync_master_clients               | 1     |
| Rpl_semi_sync_master_net_avg_wait_time     | 0     |
| Rpl_semi_sync_master_net_wait_time         | 0     |
| Rpl_semi_sync_master_net_waits             | 0     |
| Rpl_semi_sync_master_no_times              | 0     |
| Rpl_semi_sync_master_no_tx                 | 0     |
| Rpl_semi_sync_master_status                | ON    |
| Rpl_semi_sync_master_timefunc_@R_617_4895@     | 0     |
| Rpl_semi_sync_master_tx_avg_wait_time      | 0     |
| Rpl_semi_sync_master_tx_wait_time          | 0     |
| Rpl_semi_sync_master_tx_waits              | 0     |
| Rpl_semi_sync_master_wait_pos_BACktraverse | 0     |
| Rpl_semi_sync_master_wait_sessions         | 0     |
| Rpl_semi_sync_master_yes_tx                | 0     |
+--------------------------------------------+-------+
14 rows in set (0.01 sec)

其中࿰c;Rpl_semi_sync_master_clients 参数代表有一个备库连接到了主库࿰c;并且是半同步复制方式。

5、经验证࿰c;在主库中操作数据࿰c;备库同步数据失败时࿰c;会导致主库插入数据缓慢࿰c;代表正在等待备库的响应结果࿰c;等待超时了࿰c;此时查看半同步复制状态࿰c;被切换为了异步复制方式。而想从异步复制方式切换为半同步复制方式࿰c;需要重启备库的 I/O thread 才行。

GTID

GTID(Global transaction ID)是一个已提交事务的编号࿰c;并且是一个全局唯一的编号࿰c;R_864_11845@ySQL5.6以后在主从复制类型上新增了 GTID 复制。是由 server_uuid 和事务 id 组成的࿰c;即 GTID=server_uuid:transaction_id࿰c;server_uuid 是在数据库启动过程中自动生成的࿰c;每台机器的 server_uuid 都不同࿰c;transaction_id 就是事务提交时由系统顺序分配的一个不会重复的序列号。

GTID 和异步复制、半同步复制类似࿰c;只不过不再利用传统复制模式的 binlog 文件和 position 号了࿰c;而是在备库 “change master to” 时使用 master_auto_position=1 的方式进行搭建࿰c;这就让操作变的更加方便和可靠。

使用 GTID 模式搭建过程时࿰c;主库my.cnf中要配置以下参数:

gitd_mode=on
enforce_gtid_consistency=on
log_bin=on

备库中要配置:

gitd_mode=on
enforce_gtid_consistency=on
log_slave_updates=1

配置好参数后࿰c;如果是新搭建的主从环境࿰c;可以直接在库中之心 change master to 语句了࿰c;如果是运行了一段期间的主库࿰c;还需要利用备份方式从主库 dump 出数据到备库࿰c;先完成基于某个点的 GTID 复制࿰c;备库再从那个点之后再开始同步。前面实战的配置方式就是使用的 GTID 模式。

大佬总结

以上是大佬教程为你收集整理的从理论到实战,彻底搞懂MySQL主从复制原理全部内容,希望文章能够帮你解决从理论到实战,彻底搞懂MySQL主从复制原理所遇到的程序开发问题。

如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。

本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。