聊聊Mysql主从同步读写分离配置实现

Hi,各位热爱技术的小伙伴您们好,好久没有写点东西了,今天写点关于mysql主从同步配置的操作日志同大家一起分享。最近自己在全新搭建一个mysql主从同步读写分离数据库简单集群,我讲实际操作步骤整理分享处理,希望对在学习路上的你有所以帮助,当然如果是你是老鸟,写的不好的地方,多多包涵。废话不多说,言归正传,直入主题。

一、背景介绍

Mysql数据库主从同步,数据集群其实大家一点都不陌生,但是实际操作的估计就不一定了。至于为什么要使用主从同步策略,在此我就不必多说了,你懂我知大家晓。说实话原来的项目一直都在用户主从同步读写分离,我并没有实际操作过,都是其他小伙伴在搭建。但是最近一个项目,从服务器环境搭建,部署都必须要自己亲手去做,所以也就借此机会来练一练手。嘿嘿,其实我就是一个菜鸟…

本次的数据库搭建是基于centos7、docker容器部署的。

二、mysql复制原理

原理:

(1)master服务器将数据的改变记录二进制binlog日志,当master上的数据发生改变时,则将其改变写入二进制日志中;

(2)slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开始一个I/OThread请求master二进制事件

(3)同时主节点为每个I/O线程启动一个dump线程,用于向其发送二进制事件,并保存至从节点本地的中继日志中,从节点将启动SQL线程从中继日志中读取二进制日志,在本地重放,使得其数据和主节点的保持一致,最后I/OThread和SQLThread将进入睡眠状态,等待下一次被唤醒。

也就是说:

从库会生成两个线程,一个I/O线程,一个SQL线程;

I/O线程会去请求主库的binlog,并将得到的binlog写到本地的relay-log(中继日志)文件中;

主库会生成一个log dump线程,用来给从库I/O线程传binlog;

SQL线程,会读取relay log文件中的日志,并解析成sql语句逐一执行;

聊聊Mysql主从同步读写分离配置实现

三、前期配置文件准备

主从同步很关键的一个配置就是my.cnf。由于本次所有服务都是运行在docker容器上,所以在my.cof配置文件,采用在磁盘文件创建对应的文件,在mysql运行时讲相应的配置文件挂载到对应的物理磁盘,方便后期维护。

主从数据库都需要对my.cnf进行配置。

my.cnf在docker容器的相对位置是:/etc/mysql/my.cnf

假设配置文件在物理磁盘的存放位置为:/home/mysql/my.cnf

1、 主数据库( Master my.cnf 配置文件

sql;gutter:true; [mysqld]</p> <p>pid-file = /var/run/mysqld/mysqld.pid</p> <p>socket = /var/run/mysqld/mysqld.sock</p> <p>datadir = /var/lib/mysql</p> <p>secure-file-priv= NULL</p> <p>server-id=31 #设置主服务器的ID,可以任意配置但是多个主从之间不能重复</p> <p>innodb_flush_log_at_trx_commit=2 # 写入磁盘策略</p> <p>sync_binlog=1 #开启binlog日志同步功能</p> <p>expire_logs_days=180, # 二进制日志保留天数</p> <p>log-bin=mysql-bin-1 #binlog日志文件名(可以任意命名)</p> <h1>binlog-do-db=test # 这个表示只同步某个库 (如果没有此项,表示同步所有的库)</h1> <h1>binlog-ignore-db=xxxx # 二进制日志中忽略数据库</h1> <p>Disabling symbolic-links is recommended to prevent assorted security risks</p> <p>symbolic-links=0</p> <p>Custom config should go here</p> <p>!includedir /etc/mysql/conf.d/</p> <pre><code> 具体的配置信息,我都做了简单的说明,大家可以根据自己的实际需要进行配置。 2、 **从数据库(** **Slave** **)** **my.cnf** **配置文件** ;gutter:true;
[mysqld]

pid-file = /var/run/mysqld/mysqld.pid

socket = /var/run/mysqld/mysqld.sock

datadir = /var/lib/mysql

secure-file-priv= NULL

read-only=1 #是否只读,0 代表非只读 1:代表只读

server-id=32 #设置主服务器的ID,可以任意配置但是多个主从之间不能重复

innodb_flush_log_at_trx_commit=2 #

sync_binlog=1 #开启binlog日志同步功能

expire_logs_days=180, # 二进制日志保留天数

log-bin=mysql-bin-1 #binlog日志文件名(可以任意命名)

binlog-do-db=test # 这个表示只同步某个库 (如果没有此项,表示同步所有的库)

还有一个参数是指定不同步哪些库,这里不再赘述

Disabling symbolic-links is recommended to prevent assorted security risks

symbolic-links=0

Custom config should go here

!includedir /etc/mysql/conf.d/

具体的配置信息,其实和主大同小异。read-only=1 将从数据库作为读库处理

四、主从数据库容器运行

1、 创建运行主数据库容器:

sql;gutter:true; docker run --name mysqlMasterMic-d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -v /home/mysql/data:/var/lib/mysql -v /home/mysql/my.cnf:/etc/mysql/my.cnf mysql</p> <pre><code> 2、 **创建运行从数据库容器:** ;gutter:true;
docker run –name mysqlSlaveMic-d -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 -v /home/mysql/data:/var/lib/mysql -v /home/mysql/my.cnf:/etc/mysql/my.cnf mysql

五、主从数据同步配置

1、 主数据库设置

sql;gutter:true; // 第一步:进入master容器</p> <p>docker exec -it mysqlMasterMic bash</p> <p>// 第二步:登录到mysql</p> <p>mysql -u root –p</p> <p>// 在输入框输入对应的root密码:123456</p> <p>// 第三步:创建数据同步登录账号</p> <p>假设创建账号为:slavesynchro。同时需要赋值上:REPLICATION SLAVE 权限</p> <p>改账号主要用于从数据库访问主数据库使用。</p> <p>CREATE USER 'slavesynchro'@ '%' IDENTIFIED BY '123456';</p> <p>GRANT REPLICATION SLAVE ON <em>.</em> to 'slavesynchro'@'%' identified by '123456';</p> <p>// 第四步:查看主数据库状态</p> <p>查看主数据库状态,其主要目的是查看数据库的日志文件名称和日志记录行号,从数据库在配置同步开始节点就是来之此处:</p> <p>show master status</p> <pre><code> ![聊聊Mysql主从同步读写分离配置实现](https://johngo-pic.oss-cn-beijing.aliyuncs.com/articles/20230605/381957-20200715001210728-1541010996.png) **2、** **从数据库设置** ;gutter:true;
// 第一步:进入slaver容器

docker exec -it mysqlSlaveMic bash

// 第二步:登录到mysql

mysql -u root –p

// 在输入框输入对应的root密码:123456

// 第三步:设置主数据库连接

Change master to master_host=’主数据地址’,master_user=’ slavesynchro ‘,master_password=’123456!’,get_master_public_key=1,master_log_file=’mysql-bin-1.000004 ‘,master_log_pos= 209210719,master_port=3306;

参数说明:

master_host:主数据库IP地址

master_user:主数据库连接用户名

master_password:主数据量连接密码

master_port:主数据端口

master_log_file:开始同步的主数据库日志名称,主数据库show master status

队列的Flie列数据

master_log_pos:开始同步的主数据库日志开始位置,主数据库show master status

队列的Position列数据

// 第四步:启动主从同步

start slave;
// 第五步:查看主从同步状态

show slave status\G;

只有Slave_IO_Running: Yes

Slave_SQL_Running: Yes

都为yes,才代表主从同步正常运行,否则都需要根据实际情况做对于的调整处理。

聊聊Mysql主从同步读写分离配置实现

六、sql同步执行失败后不在同步处理

主从同步在实际使用过程中,如果处理的不好,可能会导致同步失败,比如:从数据库也在做新增操作,如果有自增主键约束,那么就可能导致同步失败。因为主从同步最终目的是实现数据的一致性,所有当某一项同步失败,那么就不会再做后同步处理。那么如果出现同步失败后又该如何处理呢?

在实际处理过程中,大概有两种处理方式:

1、主从数据差异小,并且不关最终数据的一致性,那么可以设置直接跳过同步出差的日志,继续同步后续数据,具体操作命令如下:

第一步:停止主从同步

stop slave;
第二步:跳过错误的日志位置,继续后续同步,后面的数字可变
set global sql_slave_skip_counter =1;

第三步:继续开启主从同步
start slave;

2、如果主从数据差异大,并且要求主从数据完全一致,那么需要:重新做主从,完全同步。

第一步:删除从数据库,讲主数据库备份到从数据库(确保主从数据完全一致)

第二步:按照上面的流程,重新配置主从同步

七、自我一些总结

1、 主从同步数据库,一定要注意读写分离。从数据库做读操作,不要做写操作,最好直接只给从数据库读权限,不给写权限

2、 数据库设置主从同步账号时,最好创建专门的账号用来做主从同步

END
为了更高的交流,欢迎大家关注我的公众号,扫描下面二维码即可关注,谢谢:

聊聊Mysql主从同步读写分离配置实现

Original: https://www.cnblogs.com/xiaoXuZhi/p/xyh_mysqlsynchro.html
Author: 程序员修炼之旅
Title: 聊聊Mysql主从同步读写分离配置实现

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/612759/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • null和空字符串对于查询where条件语句的影响

    在数据库中我们进行数据处理的过程中,对于null值或者空字符串的情况对于这种数据我们进行计算平均值以及查询过程中如何进行对于这类数据的处理呢? step1:建表:create ta…

    Linux 2023年6月14日
    095
  • 这 BUG,绝了

    上周只上了三天班,但我也丝毫不敢懈怠,BUG 更是一个也没少写。 看着满屏幕的 ERROR,我陷入沉思。为什么我写的代如此烂,无法像大牛们写的那般优雅? 越想越自卑,越想越抑郁。我…

    Linux 2023年6月7日
    0105
  • Linux通过ssh命令连接远程服务器

    命令使用语法:1,指定用户:ssh -l root 192.168.0.11或则ssh root@192.168.0.11 2,如果修改过ssh登录端口的可以:ssh -p 123…

    Linux 2023年6月13日
    075
  • 部署无人值守安装系统

    主机名 操作系统 ip地址 无人值守系统 CentOS Linux release 7.9.2009 (Core) 192.168.71.128 客户端 未安装系统 –…

    Linux 2023年6月13日
    0125
  • MybatisPlus拓展——实现多数据源操作

    多数据源 适用:一般工作时候会有多个数据库,每个库对应不同的业务数据。程序如果每次数据都访问同一个数据库,该数据库压力很大访问会很慢。 1、导入依赖 com.baomidou dy…

    Linux 2023年6月7日
    080
  • CentOS7.4安装docker

    1、安装环境 此处在Centos7进行安装,可以使用以下命令查看CentOS版本 lsb_release -a 在 CentOS 7安装docker要求系统为64位、系统内核版本为…

    Linux 2023年5月27日
    091
  • 记一次从源码泄露到getshell(二)

    0x00 前言 文章所述漏洞已经提交至漏洞平台,且所有恶意操作均已复原 0x01 源码泄露 http://www.xxx.com.cn/www.zip 老规矩拿到源码先通关关键词找…

    Linux 2023年5月28日
    0105
  • Linux基础入门笔记

    Linux内核最初只是由芬兰人林纳斯·托瓦兹(Linus Torvalds)在赫尔辛基大学上学时出于个人爱好而编写的。 Linux是一套免费使用和自由传播的类Unix操作系统,是一…

    Linux 2023年6月14日
    068
  • 【PHP】浅谈php实现订阅发布模式及redis的实现

    订阅发布应用场景: 1、广告推送 2、游戏公告 3、广播–短信、邮件 4、跨应用推送–使用同一个redis实例,net发布publish,php常驻内存订阅subscribe处…

    Linux 2023年5月28日
    080
  • python正则表达式

    1.定义 正则表达式使用某种预定义的模式去匹配一类具有共同特征的字符串,主要用于处理字符串,可以快速、准确地完成复杂的查找、替换等处理要求。 re模块提供了正则表达式操作所需要的的…

    Linux 2023年6月7日
    0121
  • 每天一个 HTTP 状态码 201

    201 Created 表示请求成功,在服务器端创建了一个新资源… 201 Created 201 Created 表示客户端的请求已经成功完成,结果是创建了一个新资源…

    Linux 2023年6月7日
    0126
  • Xshell小技巧

    鼠标右键粘贴 工具->选项->鼠标->向右按钮->(paste the clipboard contents.) 选定文本自动复制到剪贴板 工具->选…

    Linux 2023年5月28日
    0115
  • 自动化集成:Pipeline整合Docker容器

    前言:该系列文章,围绕持续集成:Jenkins+Docker+K8S相关组件,实现自动化管理源码编译、打包、镜像构建、部署等操作; 本篇文章主要描述流水线集成Docker用法。 一…

    Linux 2023年5月27日
    0111
  • 剑指offer计划链表

    剑指offer计划链表 从尾到头打印链表 /** * public class ListNode { * int val; * ListNode next = null; * * …

    Linux 2023年6月11日
    073
  • CentOS 7 安装 mysql 5.7.27 for zabbix

    本文是因为需要安装zabbix系统,才贴出的此步骤,供自己查阅方便之用; 在安装使用zabbix前,需要先安装数据库,这里使用的是MySQL数据库进行部署,给出安装步骤,大家觉得有…

    Linux 2023年6月8日
    0100
  • 容器编排与Kubernates

    1 基本概念 1.1 K8S优势 容器调度、容器管理、容器编排、容器集群管理工具。Google开源,自动化部署。支持弹性收缩、负载均衡。 1.2 K8S在Devops中的角色 ; …

    Linux 2023年6月13日
    0106
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球