首页 运维干货一条更新操作引起的MySQL主从复制异常

一条更新操作引起的MySQL主从复制异常

运维派隶属马哥教育旗下专业运维社区,是国内成立最早的IT运维技术社区,欢迎关注公众号:yunweipai
领取学习更多免费Linux云计算、Python、Docker、K8s教程关注公众号:马哥linux运维

一、环境描述

生产环境异地机房主从数据库,数据量过百G,数据库版本社区版本5.6.25。

二、问题描述

同事根据开发提供的SQL在Master节点执行了一个大表的的全表更新操作,导致从节点Slave IO线程中断。

三、问题分析

1)相关参数

my.cnf中有两个参数设置:

expire_logs_days = 7        #binlog保留时间7天
max_binlog_size = 1G      #binlog大小

2)表大小,执行SQL

Table: v_clda   5.8G
Sql: update v_clda set uploadtime =now(); 主库执行成功

3)主库,大事物产生的binlog

-rw-rw—- 1 mysql mysql 1.1G Mar 16 02:49 mysql-bin.000159
-rw-rw—- 1 mysql mysql 8.0G Mar 16 15:28 mysql-bin.000160
-rw-rw—- 1 mysql mysql 7.4G Mar 16 18:13 mysql-bin.000161
-rw-rw—- 1 mysql mysql 1.1G Mar 16 23:55 mysql-bin.000162
-rw-rw—- 1 mysql mysql 1.1G Mar 17 12:15 mysql-bin.000163
-rw-rw—- 1 mysql mysql 1.1G Mar 18 16:54 mysql-bin.000164

4)异地从库报错

[ERROR] Slave I/O: Unexpected master’s heartbeat data: heartbeat is not compatible with local info;the event’s data:og_file_name mysql-bin.000160<90>Ó°Y log_pos 121238917, Error_code: 1623
[ERROR] Slave I/O: Relay log write failure: could not queue event from master, Error_code: 1595
[Note] Slave I/O thread exiting, read up to log ‘mysql-bin.000160’, position 3626103968
[Note] Error reading relay log event: slave SQL thread was killed

Slave 已经无法同步数据。

一个事物只能写入一个binlog日志中,默认情况下,binlog日志达到设定值后(max_binlog_size),会自动生成一个新的日志文件,也会根据过期参数(expire_logs_days)设置自动删除binlog日志。如果生成了一个超大的binlog日志,很可能是由于大事物引起的。

尝试从启slave线程,多次尝试后失败。

尝试跳过事物,具体方法如下:

从节点执行(基于GTID)

stop slave;
SET @@SESSION.GTID_NEXT= ‘498815d6-20a9-11e6-a7d6-fa163e5770cc:53’; –根据实际情况
BEGIN; COMMIT;
SET SESSION GTID_NEXT = AUTOMATIC;
START SLAVE;
show slave status\G; 主从复制恢复正常

从节点执行更新操作,同步数据

set session sql_log_bin=0;
update v_clda set uploadtime =now();

在执行大事物前关闭 set session sql_log_bin=0; (默认是开启的),尤其是异地机房,网络带宽有限,而且VPN通道不是十分稳定的情况下。不允许它生成大量binlog日志。

如果像本例中,已经执行了,而且生成了大量的binlog,最终导致复制异常,可以考虑使用跳过事物的方法来解决这个问题。

最笨的方法就是重新搭建主从,由于数据量比较大,还是异地不可取。

根本解决方法还是要拆分大事物,进行批量提交操作。贺春旸老师的MySQL管理之道一书中第四章4.4节有具体的解决方法。

参考改为用存储过程,每删除10000条事务就提交一次,循环操作直至删除完毕。经过优化,行锁的范围变小了,性能也就变好了。相关代码如下:

DELIMITER   USE   BIGDB
DROP   PROCEDURE IF EXISTS BIG_table_delete_10kCREATE   PROCEDURE BIG_table_delete_10k(IN v_UserId INT)
BEGIN
del_10k:LOOP
delete   from BIGDB.BIGTABLE where UserId = v_UserId limit 10000;
select   row_count() into @count;
IF   @count = 0 THEN
select CONCAT(‘BIGDB.BIGTABLE UserId =   ‘,v_UserId,’ is ‘,@count,’ rows.’) as BIGTABLE_delete_finish;
LEAVE   del_10k;
END IF;
select   sleep(1);
END LOOP   del_10k;
END

DELIMITER   ;

作者:康壮 | 文章来源微信公众号:DBAplus社群

本文链接:http://www.yunweipai.com/12814.html

网友评论comments

发表评论

邮箱地址不会被公开。

暂无评论

Copyright © 2012-2021 YUNWEIPAI.COM - 运维派 京ICP备16064699号-6
扫二维码
扫二维码
返回顶部