聊一聊mycat数据库集群系列之双主双重实现

最近在梳理数据库集群的相关操作,现在花点时间整理一下关于mysql数据库集群的操作总结,恰好你又在看这一块,供一份参考。本次系列终结大概包括以下内容:多数据库安装、mycat部署安装、数据库之读写分离主从复制、数据库之双主多重、数据库分库分表。每一个点,有可能会对应一篇或者多篇文章,由于还要继续上班工作,所以本系列分享预计持续时间需要10天左右,有兴趣的您可以持续关注。我是一个菜鸟,如果写的不好的地方,望多多指点和包涵。

好了,不逼逼了,直接进入本次的主题:mycat双主双重实现。在前的几篇文章中,我们已经完整的介绍了主从备份,读写分离实现。但是在实际生产中,为了系统的高可用,主从备份是远远不够用的,比如:要是主挂了,那么整个系统的写数据都挂了,如果读数据库挂了,那怎么整个系统的读操作也就挂了,为了实现系统的高可用,在实际项目中,我们会搭建至少搭建双主多重。

聊一聊mycat数据库集群系列之双主双重实现

一、简介

数据库集群的方式有多种 ,前面的介绍的一种是主从复制,读写分离,这一种方式在一般的系统已经够用了,但是对系统可用性要求很高的系统,这样是会有缺陷的,原因是:主只有一个,万一主挂了呢?那系统的所有读操作都将被中断,系统不能提供写服务,当重挂了,系统不同提高读服务,所以无论那一台数据库挂了,系统都会受到影响。对于高可用的系统,那是不行的,比如:电商系统等等。不急不急,其实也很简单,一台不够,那就多台就解决问题了:双主多重,双主:主要指的是两台主机(一主一备),两台主机相互间要同步数据,其中一台挂了另外一台可以正常运行。这样能够大大提升系统的高可用。

本次以双主4重来做实例练习,在同一台服务器上,通过不同端口来区分不同的数据库,具体的数据配置如下:

服务器名称

端口

备注

Master_3306

3306

第一台主机,需要和第二台主机(主备机)同步数据

Slave1_3307

3307

第二台主机(主备机),需要和第一台主同步数据

Slave1_3308

3308

第一台主机对应的第一台重机

Master_3309

3309

第一台主机对应的第二台重机

Slave1_3310

3310

第二台主机对应的第一台重机

Slave1_3311

3311

第二台主机对应的第二台重机

二、数据库环境准备

双主多重的在原理上,和上一篇说的主从备份的原理都是一样的,双主双从只是在原来的基础上,针对主机和重机都增加了对于的备机。主机的有两个数据库实例,其实两个的主备的角色是相互的,当一台机器挂了,另外一台机器就充当了主机。所以最终数据的体现效果就是,所有主机和从机都要保持数据一致。为了达到这一目录,在备份上需要策略如下:两台主机间都要相互同步、每一台主机对于的重机都需要同步对应的主机数据。最终的数据同步关系为:

  • 3306 与 3307 相互数据同步
  • 3308、3309 都要同步3306的数据
  • 3310、3311 都要同步3307的数据

在配置文件上和上一篇的配置原理一样,只是针对两个主机需要新增一个配置节点:log-slave-updates:在作为从库的时候,有写入操作也要更新二进制文件。

下面简单罗列每一个数据库的my.ini的配置文件

3306配置文件

[Client]
port = 3306
[mysqld]
#设置3306端口
port = 3306
设置mysql的安装目录
basedir=C:\Program Files (x86)\MySQL\MySQL Server 8.0_3306
设置mysql数据库的数据的存放目录
datadir=C:\Program Files (x86)\MySQL\MySQL Server 8.0_3306\data
允许最大连接数
max_connections=200
服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
主从复制设置
设置服务id,注意改id值在同一个数据库集群中要保持唯一
server-id = 3306
写入磁盘策略 该参数的有效值有 0、1、2
默认值为1,在实际使用过程中,为了效率,我们一般会在设置为2
innodb_flush_log_at_trx_commit=2
开启binlog日志同步功能
这个参数直接影响mysql的性能和完整性。
sync_binlog=0
在作为从库的时候,有写入操作也要更新二进制文件
log-slave-updates
二进制日志保留天数
expire_logs_days=180
binlog日志文件名(可以任意命名)
log-bin=mysql-bin
表示自增长字段每次递增的量,其默认值是1,取值范围是1 .. 65535
auto_increment_increment=2
表示自增长字段从那个数开始,他的取值范围是1 .. 65535
auto_increment_offset=1
在主主同步配置时,需要将两台服务器的auto_increment_increment增长量都配置为2,而要把auto_increment_offset分别配置为1和2.

这样才可以避免两台服务器同时做更新时自增长字段的值之间发生冲突。
同步的数据库设置方式有两种:
binlog_do_db:设置需要同步的数据库
binlog-ignore-db:设置不需要同步的数据库
#同步的数据库,除此之外别的不同步(和下面binlog-ignore-db二选一)
binlog_do_db=testdb
#不同步数据库,除此之外都同步
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
[mysql]
设置mysql客户端默认字符集
default-character-set=utf8

3307置文件

[Client]
port = 3307
[mysqld]
#设置3307端口
port = 3307
设置mysql的安装目录
basedir=C:\Program Files (x86)\MySQL\MySQL Server 8.0_3307
设置mysql数据库的数据的存放目录
datadir=C:\Program Files (x86)\MySQL\MySQL Server 8.0_3307\data
允许最大连接数
max_connections=200
服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
创建新表时将使用的默认存储引擎
default-storage-engine=INNODB
主从复制设置
设置服务id,注意改id值在同一个数据库集群中要保持唯一
server-id = 3306
写入磁盘策略 该参数的有效值有 0、1、2
默认值为1,在实际使用过程中,为了效率,我们一般会在设置为2
innodb_flush_log_at_trx_commit=2
开启binlog日志同步功能
这个参数直接影响mysql的性能和完整性。
sync_binlog=0
表示自增长字段每次递增的量,其默认值是1,取值范围是1 .. 65535
auto_increment_increment=2
表示自增长字段从那个数开始,他的取值范围是1 .. 65535
auto_increment_offset=2
在主主同步配置时,需要将两台服务器的auto_increment_increment增长量都配置为2,而要把auto_increment_offset分别配置为1和2.

这样才可以避免两台服务器同时做更新时自增长字段的值之间发生冲突。
在作为从库的时候,有写入操作也要更新二进制文件
log-slave-updates
二进制日志保留天数
expire_logs_days=180
binlog日志文件名(可以任意命名)
log-bin=mysql-bin
同步的数据库设置方式有两种:
binlog_do_db:设置需要同步的数据库
binlog-ignore-db:设置不需要同步的数据库
#同步的数据库,除此之外别的不同步(和下面binlog-ignore-db二选一)
binlog_do_db=testdb
#不同步数据库,除此之外都同步
binlog-ignore-db = information_schema
binlog-ignore-db = mysql
binlog-ignore-db = performance_schema
binlog-ignore-db = sys
[mysql]
设置mysql客户端默认字符集
default-character-set=utf8

3308配置文件

[Client]

port = 3308

[mysqld]

#设置3308端口

port = 3308

该id主要要保持唯一,后面在设置主从同步的时候会用到

server-id = 3308

设置mysql的安装目录

basedir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3308

设置mysql数据库的数据的存放目录

datadir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3308\data

允许最大连接数

max_connections=200

服务端使用的字符集默认为8比特编码的latin1字符集

character-set-server=utf8

创建新表时将使用的默认存储引擎

default-storage-engine=INNODB

[mysql]

设置mysql客户端默认字符集

default-character-set=utf8

3309配置文件

[Client]
port = 3309

[mysqld]
#设置3309端口
port = 3309
该id主要要保持唯一,后面在设置主从同步的时候会用到
server-id = 3309
设置mysql的安装目录
basedir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3309
设置mysql数据库的数据的存放目录
datadir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3309\data
允许最大连接数
max_connections=200
服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
创建新表时将使用的默认存储引擎
default-storage-engine=INNODB

[mysql]
设置mysql客户端默认字符集
default-character-set=utf8

3310配置文件

[Client]
port = 3308

[mysqld]
#设置3310端口
port = 3310
该id主要要保持唯一,后面在设置主从同步的时候会用到
server-id = 3310
设置mysql的安装目录
basedir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3310
设置mysql数据库的数据的存放目录
datadir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3310\data
允许最大连接数
max_connections=200
服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
创建新表时将使用的默认存储引擎
default-storage-engine=INNODB

[mysql]
设置mysql客户端默认字符集
default-character-set=utf8

3311配置文件

[Client]
port = 3311

[mysqld]
#设置3311端口
port = 3311
该id主要要保持唯一,后面在设置主从同步的时候会用到
server-id = 3308
设置mysql的安装目录
basedir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3311
设置mysql数据库的数据的存放目录
datadir=C:\Program Files (x86)\MySQL\MySQL Server 8.0.21_3311\data
允许最大连接数
max_connections=200
服务端使用的字符集默认为8比特编码的latin1字符集
character-set-server=utf8
创建新表时将使用的默认存储引擎
default-storage-engine=INNODB

[mysql]
设置mysql客户端默认字符集
default-character-set=utf8

三、数据库配置验证

数据库双主多重配置验证,主要验证两个主机数据更新是否所有集群中的是所有数据是否都发送对应的改变,如果发送说明配置成功。

1、 在3306中创建一个数据test和一个表user

查看其它的库是否都创建了一个库test和一个表user

2、 在3307中对表user插入一条数据

查看其余所有库对于的表是否也新增了该数据

四、mycat双主多从配置

Mycat的使用配置,我们先从最简单的模式(主从复制)开始配置起走。Mycat主从复制主要配置文件有如下两个文件,两个文件都在mycat目录\conf下。

  • server.xml: 配置文件包含了mycat的系统配置信息
  • schema.xml:涵盖了mycat的逻辑库,表,分片规则,分片节点及数据源。

server.xml配置文件

server.xml主要涉及到两个标签的配置,和上一篇的主重复制一样:

  • system标签:主要配置系统相关的配置,在此不在做详细的描述,根据实际需要在去配置;
  • user标签:主要用于定义登录mycat的用户和权限,这也是本次需要介绍的配置节点。user标签可以同时配置多个节点。
"root" defaultAccount="true">

    "password">xuyuanhong

    "schemas">test

schema.xml配置文件

schema配置相对上一篇的主从复制的配置节点,只是将负载均衡节点balance的值改为1,同时在服务上新增一个主节点,同时新增一个从节点,其余配置不变,如下:

"1.0"?>
"schema.dtd">
"http://io.mycat/">

    "test" checkSQLschema="false" sqlMaxLimit="100" dataNode="dntest">

    "dntest" database="test" dataHost="hosttest" />

五、mycat启动及其常用操作命令

  • 首先需要进入到mycat安装目录的bin目录下
cd E:\Program Files\mycat\bin
  • 开启mycat
mycat.bat start
  • 停止mycat
mycat.bat stop
  • 重启mycat
mycat.bat restart
  • 查看mycat状态
mycat.bat status

六、mycat中遇到的问题解决

其实在实际mycat配置时,我也不是一次配置成功的,也遇到了两个小问题,现在罗列出来,如果刚刚你也遇到了正好可以解决掉。

1、Unrecognized VM option ‘AggressiveOpts’

解决方式:打开wrapper.conf配置文件,找到AggressiveOpts并将整行注释掉即可,如下图所示:

聊一聊mycat数据库集群系列之双主双重实现

2、Could not create the Java Virtual Machine.

该问题有可能是设置才内存超出本地环境实际内存,处理方式也简单,直接将wrapper.conf对应的内存改小即可。如下图位置:

聊一聊mycat数据库集群系列之双主双重实现

有关mycat的部署安装、读写分离就分享到这儿了,下一篇将和大家一起分享mycat的多主多重配置,有兴趣的小伙伴,可以持续关注,谢谢!

好了,到目前为止,针对数据库的主从复制、算主多重的部署从头到尾的每一步都做了一个总结。在后续的文章中就要开始对数据库的分库分表进行梳理回顾。有兴趣的朋友,可以持续关注,谢谢支持。

END
为了更高的交流,欢迎大家关注我的公众号,扫描下面二维码即可关注,谢谢:

聊一聊mycat数据库集群系列之双主双重实现

Original: https://www.cnblogs.com/xiaoXuZhi/p/xyh_mycat_many_read_write_split.html
Author: 程序员修炼之旅
Title: 聊一聊mycat数据库集群系列之双主双重实现

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/612763/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • vue 中,echarts的使用,简单入门

    vue 中,echarts的使用,简单入门 原作者哔哩哔哩视频 感谢 多多支持效果图 首先创建一个页面组件,创建三个div,分别来使用折线图,柱状图,扇形图 //折线图 //柱状图…

    Linux 2023年6月7日
    094
  • Rook搭建Ceph

    Rook搭建Ceph 一、软件版本及先决条件 软件版本: 软件版本名称 软件版本号 Pacific 16.2.7 Rook V1.9 先决条件: K8s集群,1.16版本+ K8s…

    Linux 2023年6月13日
    072
  • 系统执行命令记录到message 日志文件中

    直接 配置 /etc/profile 配置文件添加一样,简单高定。 export PROMPT_COMMAND='{ msg=$(history 1 | { read x y; e…

    Linux 2023年6月8日
    067
  • Java基础之接口篇

    Overload和Override的区别?重载Overload:表示同⼀个类中可以有多个名称相同的⽅法,但这些⽅法的参数列表各不相同,参 数个数或类型不同 重写Override:表…

    Linux 2023年6月7日
    081
  • 基本数据类型的长度

    32位机器和64位机器中int、char等数据类型所占字节长度对比。 在32位机器和64机器中int类型都占用4个字节。编译器可以根据自身硬件来选择合适的大小,但是需要满足约束:s…

    Linux 2023年6月13日
    084
  • phpredis中文手册——《redis中文手册》 php版

    将值value关联到key,并将key的生存时间设为seconds(以秒为单位)。 这个命令类似于以下两个命令: O(1) SETRANGE SETRANGE key offset…

    Linux 2023年5月28日
    069
  • 5.5 Vim移动光标命令汇总

    Vim 文本编辑器中,最简单的移动光标的方式是使用方向键,但这种方式的效率太低,更高效的方式使用快捷键。 Vim 移动光标常用的快捷键及其功能如下面各表所示,需要注意的是,表中所有…

    Linux 2023年6月7日
    094
  • Ubuntu下搭建apache2+GGI环境

    参考:https://blog.csdn.net/nanfeibuyi/article/details/108551159 就先记录步骤吧 Original: https://ww…

    Linux 2023年6月8日
    082
  • Celery异步任务

    情景: 用户发起request,并等待response返回。在本些views中,可能需要执行一段耗时的程序,那么用户就会等待很长时间,造成不好的用户体验,比如发送邮件、手机验证码等…

    Linux 2023年6月8日
    080
  • CentOS7安装部署Zabbix监控服务

    Zabbix Server通过Agent传来的数据写入数据库(MySQL),最终通过PHP+Apache在Web界面进行前端展示所以在启动Zabbix之前需要搭建LAMP环境 1、…

    Linux 2023年5月27日
    0100
  • Netty源码解读(一)-前置准备

    前置条件 源码版本netty4.1 了解Java NIO、Reactor模型和Netty的基本使用。 解释一下: Java NIO:了解BIO和NIO的区别以及Java NIO基础…

    Linux 2023年6月7日
    079
  • Locationhttpd反向代理

    Location\httpd\反向代理 参考:http://tengine.taobao.org/nginx_docs/cn/docs/http/ngx_http_core_mod…

    Linux 2023年6月11日
    089
  • MobaXterm左侧没有文件列表,没有SCP,不显示文件夹问题处理

    一般情况是你设置的session属性问题,具体做法是右键你的session,选edit session,SSH 如下图: 选择 SFTP protocol 并勾选 Follow S…

    Linux 2023年5月27日
    0131
  • 对抗攻击方法BIM与PGD的区别

    Basic iterative method(BIM):论文地址 笔记地址 Projected gradient descent(PGD):论文地址 笔记地址 区别1 来自于:ht…

    Linux 2023年6月7日
    084
  • RPA 快手自动上传机器人

    bash;gutter:true;1、打开账号Cookie预存表格2、机器人自动登录账号3、机器人开始按照预设视频位置开始自动上传视频4、机器人开始自动填写视频相关信息内容5、完成…

    Linux 2023年6月7日
    0112
  • 【原创】Linux虚拟化KVM-Qemu分析(五)之内存虚拟化

    背景 Read the fucking source code! –By 鲁迅 A picture is worth a thousand words. –…

    Linux 2023年6月8日
    070
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球