Qingcloud_MySQL Plus(Xenon) 高可用搭建实验

2023年6月16日上午6:49 • 数据库 • 阅读 113

实验：Xenon on 5.7.30

Xenon (MySQL Plus) 是青云Qingcloud的一个开源项目，号称金融级别强一致性的高可用解决方案，项目地址为 https://github.com/radondb/xenon

本实验笔记创建与Microsoft onenote , 转换到web有格式损失。

环境信息

port

role

hostname

192.168.188.51

3306

node1

ms51

192.168.188.52

3306

node2

ms52

192.168.188.53

3306

node3

ms53

192.168.188.54

3306

node4

ms54

192.168.188.50

3306

s-ip

—

CentOS Linux release 7.6.1810

mysql-5.7.30-linux-glibc2.12-x86_64

xtrabackup version 2.4.20

由于Xenon本身架构的限制，暂不支持单节点多实例的方式建立高可用。可以使用docker，本来Xenon就是基于docker架构设计的。

操作系统配置

创建mysql用户，如果之前已经配置，可能需要调整mysql账号

使mysql用户可以login

bash;gutter:true; [root@ms51 data]# sed -i 's#/sbin/nologin#/bin/bash#' /etc/passwd && grep mysql /etc/passwd mysql:x:2000:2000::/usr/local/mysql:/bin/bash [root@ms51 data]# echo mysql | passwd --stdin mysql <pre><code> 补充建立一下home目录;gutter:true;
[root@ms51 data]# usermod -d /home/mysql mysql && mkdir /home/mysql && cp -f /root/.bash* /home/mysql/ && chown -R mysql:mysql /home/mysql && chmod -R 700 /home/mysql

配置并验证mysql的ssh互信

bash;gutter:true; [mysql@ms51 ~]$ ssh-keygen [mysql@ms51 ~]$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys [mysql@ms52 ~]$ scp .ssh/id_rsa.pub 192.168.188.201:/tmp/2 [mysql@ms53 ~]$ scp .ssh/id_rsa.pub 192.168.188.201:/tmp/3 [mysql@ms51 ~]$ cat /tmp/2 >> .ssh/authorized_keys [mysql@ms51 ~]$ cat /tmp/3 >> .ssh/authorized_keys [mysql@ms51 ~]$ chmod 600 .ssh/authorized_keys [mysql@ms51 ~]$ scp .ssh/authorized_keys 192.168.188.202:~/.ssh/ [mysql@ms51 ~]$ scp .ssh/authorized_keys 192.168.188.203:~/.ssh/ <pre><code> 注意selinux，如果开启的话，ssh互信是不生效的。配置sudoers 将mysql加入sudoer中;gutter:true;
[root@ms51 ~]# visudo # 或者直接vi /etc/sudoers

mysql ALL=(ALL) NOPASSWD:/usr/sbin/ip

验证一下

bash;gutter:true; [root@ms51 data]# su - mysql -c "sudo ip a" <pre><code> 有结果就ok。软件安装 ## xtrabackup 略 ## mysql安装略 MySQL层面的配置这一环节主要是确认复制、半同步复制可用，配置结束后可以关闭实例。实际启用Xenon后，主从关系由Xenon选举得出，与这里的角色配置关系不大。记得修改server-id。配置3个实例。 ## 启动三个数据库实例并完成基础配置;gutter:true;
shell# mysqld –defaults-file=/data/mysql/mysql3306/my3306.cnf &

mysql> set global super_read_only=0;

mysql> alter user user() identified by ‘mysql’;

配置GTID+半同步、创建复制架构

node1、node2、node3 检查下列参数，以支持半同步开启

gtid_mode
enforce_gtid_consistency
binlog_format=row

mysql> grant replication slave on *.* to ‘rep’@’192.168.188.%’;
Query OK, 0 rows affected (0.14 sec)

配置复制架构

node1、node2、node3重置一下master status：

bash;gutter:true; mysql> reset master; <pre><code> ### node2、node3配置复制：;gutter:true;
mysql> change master to master_host=’192.168.188.51′,master_port=3306,master_user=’rep’,master_password=’rep’,master_auto_position=1;

配置半同步

node1、node2、node3所有节点加载半同步库

bash;gutter:true; mysql> install plugin rpl_semi_sync_slave soname 'semisync_slave.so'; Query OK, 0 rows affected (0.01 sec) mysql> install plugin rpl_semi_sync_master soname 'semisync_master.so'; Query OK, 0 rows affected (0.00 sec) mysql> show plugins; +----------------------------+----------+--------------------+--------------------+---------+ | Name | Status | Type | Library | License | +----------------------------+----------+--------------------+--------------------+---------+ | rpl_semi_sync_slave | ACTIVE | REPLICATION | semisync_slave.so | GPL | | rpl_semi_sync_master | ACTIVE | REPLICATION | semisync_master.so | GPL | +----------------------------+----------+--------------------+--------------------+---------+ <pre><code> ### node1（临时master）启用半同步;gutter:true;
mysql> set global rpl_semi_sync_master_enabled=1;
Query OK, 0 rows affected (0.00 sec)

mysql> set global rpl_semi_sync_master_timeout=10000000;
Query OK, 0 rows affected (0.00 sec)

node2、node3（临时从库）启用半同步

bash;gutter:true; mysql> set global rpl_semi_sync_slave_enabled=1; Query OK, 0 rows affected (0.00 sec) mysql> start slave; Query OK, 0 rows affected (0.01 sec) mysql> show global status like '%SEMI%'; +--------------------------------------------+-------+ | Variable_name | Value | +--------------------------------------------+-------+ | Rpl_semi_sync_slave_status | ON | +--------------------------------------------+-------+ 15 rows in set (0.00 sec) <pre><code> ### 看下node1，已经注册了2个半同步slave;gutter:true;
mysql> show global status like ‘%semi%’;
+——————————————–+——-+
| Variable_name | Value |
+——————————————–+——-+
| Rpl_semi_sync_master_clients | 2 |
| Rpl_semi_sync_master_status | ON |
+——————————————–+——-+
15 rows in set (0.00 sec)

半同步复制架构配置完成。

创建数据库用户root@127.0.0.1

Xenon会用到这个用户，与后面配置文件的设定有关。

由于已经配置主从复制，直接在master上执行就可以了，让它自己复制到所有节点。

bash;gutter:true; root@localhost [(none)]>create user root@127.0.0.1 identified by 'mysql'; Query OK, 0 rows affected (0.04 sec) root@localhost [(none)]>GRANT ALL PRIVILEGES ON . TO 'root'@'127.0.0.1' WITH GRANT OPTION; Query OK, 0 rows affected (0.04 sec) root@localhost [(none)]>grant super on . TO 'root'@'127.0.0.1'; Query OK, 0 rows affected (0.04 sec) <pre><code> MySQL层面配置完成，接下来可以关闭全部mysql，去搞Xenon了;gutter:true;
mysql> shutdown;

配置xenon

安装依赖

Xenon需要安装sshpass、golang。

需要在全部节点上安装依赖。

bash;gutter:true; [root@ms51 data]# curl -s https://mirror.go-repo.io/centos/go-repo.repo | tee /etc/yum.repos.d/go-repo.repo [root@ms51 data]# yum install go sshpass -y <pre><code>确保go在PATH中;gutter:true;
[root@ms51 data]# go version
go version go1.14.2 linux/amd64

获取、部署Xenon

可以直接通过git拉取项目，也可以通过其它途径（直接去github上下载zip）获取到项目后直接上传到每一个服务器。

通过git方式，需安装git

bash;gutter:true; [root@ms51 data]# yum install git -y <pre><code> git clone;gutter:true;
[root@ms51 data]# pwd
/data/
[root@ms51 data]# git clone https://github.com/radondb/xenon

clone后可以直接scp给其它节点。

通过zip方式：

从github下载zip后，依次部署到所有节点上

bash;gutter:true; [root@ms51 data]# unzip /ofiles/xenon-master.zip -d /data/ <pre><code> ### 编译（所有节点）;gutter:true;
[root@ms51 data]# pwd
/data

[root@ms51 data]# ls
mysql xenon-master

[root@ms51 data]# cd xenon-master/

[root@ms51 xenon-master]# ls
conf docs LICENSE makefile README.md src

[root@ms51 xenon-master]# make
..

[root@ms51 xenon-master]# ls
bin conf docs LICENSE makefile README.md src

[root@ms51 xenon-master]# ls bin/
xenon xenoncli

完成编译后，规划文件目录结构（也可以不做）

可以复制或移动bin/ conf/ 目录，但是不要删除或改变git项目目录及src/目录

建立config.path文件，以指定默认配置文件位置（所有节点）

后续xenoncli 命令依赖config.path文件，该文件里指定了配置文件的路径

bash;gutter:true; [root@ms51 xenon-master]# cp conf/xenon-sample.conf.json xenon.json [root@ms52 xenon-master]# cp conf/xenon-sample.conf.json xenon.json [root@ms53 xenon-master]# cp conf/xenon-sample.conf.json xenon.json [root@ms53 xenon-master]# echo "/etc/xenon/xenon.json" > /data/xenon-master/bin/config.path && mkdir /etc/xenon && ln -sf /data/xenon-master/xenon.json /etc/xenon/xenon.json [root@ms52 xenon-master]# echo "/etc/xenon/xenon.json" > /data/xenon-master/bin/config.path && mkdir /etc/xenon && ln -sf /data/xenon-master/xenon.json /etc/xenon/xenon.json [root@ms53 xenon-master]# echo "/etc/xenon/xenon.json" > /data/xenon-master/bin/config.path && mkdir /etc/xenon && ln -sf /data/xenon-master/xenon.json /etc/xenon/xenon.json <pre><code> ### 将整个xenon目录所有者给mysql（所有节点）;gutter:true;
[root@ms51 xenon-master]# chown -R mysql:mysql /data/xenon-master/

[root@ms52 xenon-master]# chown -R mysql:mysql /data/xenon-master/

[root@ms53 xenon-master]# chown -R mysql:mysql /data/xenon-master/

配置xenon.json（所有节点）

bash;gutter:true; 说明： server段：本机IP raft段：s-ip，要绑定s-ip的网卡名称 mysql段：指定本机mysql相关配置，host段和admin拼合起来就是前面创建root@127.0.0.1的用途。两个sysvars可以根据实际需求配置角色所需的配置动作。考虑到半同步enabled放在my.cnf文件中没有在动作中灵活，便将半同步设定也放在动作里了。 replication段： backup段：本机IP，backupdir需要注意，这个指定为mysql实例的datadir，以供xtrabackup使用。另外在执行rebuildme的时候，xenon会清空该目录以重建实例。 <pre><code>;gutter:true;
[root@ms51 xenon]# cat xenon.json
{
"server":
{
"endpoint":"192.168.188.51:8801"
},

"raft":
{
"meta-datadir":"raft.meta",
"heartbeat-timeout":1000,
"election-timeout":3000,
"leader-start-command":"sudo /sbin/ip a a 192.168.188.50/16 dev eth0 && arping -c 3 -A 192.168.188.50 -I eth0",
"leader-stop-command":"sudo /sbin/ip a d 192.168.188.50/16 dev eth0 "
},

"mysql":
{
"admin":"root",
"passwd":"mysql",
"host":"127.0.0.1",
"port":3306,
"basedir":"/usr/local/mysql",
"defaults-file":"/data/mysql/mysql3306/my3306.cnf",
"ping-timeout":1000,
"master-sysvars":"super_read_only=0;read_only=0;sync_binlog=default;innodb_flush_log_at_trx_commit=defaulti;rpl_semi_sync_slave_enabled=0;rpl_semi_sync_master_enabled=1",
"slave-sysvars": "super_read_only=1;read_only=1;sync_binlog=1000;innodb_flush_log_at_trx_commit=2;rpl_semi_sync_slave_enabled=1;rpl_semi_sync_master_enabled=0"

"replication":
{
"user":"rep",
"passwd":"rep"
},

"backup":
{
"ssh-host":"192.168.188.51",
"ssh-user":"mysql",
"ssh-passwd":"mysql",
"basedir":"/usr/local/mysql",
"backupdir":"/data/mysql/mysql3306/data",
"xtrabackup-bindir":"/usr/bin"
},

"rpc":
{
"request-timeout":500
},

"log":
{
"level":"INFO"
}
}

slave替换hostIP即可。

启动集群

mysqld可以关掉。

稳妥起见，在全部节点测试一下——切换到mysql用户，测试一下json文件的可读性及动作是否能够执行

bash;gutter:true; [mysql@ms51 ~]$ cat /etc/xenon/xenon.json .. .. [mysql@ms51 ~]$ sudo /sbin/ip a a 192.168.188.50/16 dev eth0 && arping -c 3 -A 192.168.188.50 -I eth0 ARPING 192.168.188.50 from 192.168.188.50 eth0 Sent 3 probes (3 broadcast(s)) Received 0 response(s) [mysql@ms51 ~]$ ip a .. 36: eth0@if37: mtu 1500 qdisc noqueue state UP group default link/ether 02:42:c0:a8:bc:33 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 192.168.188.51/24 brd 192.168.188.255 scope global eth0 valid_lft forever preferred_lft forever inet 192.168.188.50/16 scope global eth0 valid_lft forever preferred_lft forever [mysql@ms51 ~]$ sudo /sbin/ip a d 192.168.188.50/16 dev eth0 [mysql@ms51 ~]$ ip a .. 2: sit0@NONE: mtu 1480 qdisc noop state DOWN group default qlen 1000 link/sit 0.0.0.0 brd 0.0.0.0 36: eth0@if37: mtu 1500 qdisc noqueue state UP group default link/ether 02:42:c0:a8:bc:33 brd ff:ff:ff:ff:ff:ff link-netnsid 0 inet 192.168.188.51/24 brd 192.168.188.255 scope global eth0 valid_lft forever preferred_lft forever <pre><code> 测试通过。启动集群吧。启动Xenon 目前mysql没运行【node1】启动Xenon;gutter:true;
[mysql@ms51 ~]$ cd /data/xenon-master/

[mysql@ms51 xenon-master]$ ls

bin conf docs LICENSE makefile README.md src xenon.json

[mysql@ms51 xenon-master]$ bin/xenon -c /etc/xenon/xenon.json > ./xenon.log 2>&1 &

[mysql@ms51 xenon-master]$ less xenon.log

检查xenon日志，可以看到xenon自己去通过mysqld_safe去启动mysql实例了，并设置为只读模式，检测了一下slave配置。

通过ps命令可以看到本机mysqld和mysqld_safe 进程，可以通过PID看出，mysqld进程是被mysqld_safe进程拉起的。

bash;gutter:true; [mysql@ms51 xenon-master]$ ps -ef|grep mysql root 607 594 0 11:48 pts/0 00:00:00 su - mysql mysql 608 607 0 11:48 pts/0 00:00:00 -bash mysql 637 608 0 11:51 pts/0 00:00:01 bin/xenon -c /etc/xenon/xenon.json mysql 648 1 0 11:51 pts/0 00:00:00 /bin/sh /usr/local/mysql/bin/mysqld_safe --defaults-file=/data/mysql/mysql3306/my3306.cnf mysql 1766 648 0 11:51 pts/0 00:00:00 /usr/local/mysql/bin/mysqld --defaults-file=/data/mysql/mysql3306/my3306.cnf --basedir=/usr/local/mysql/ --datadir=/data/mysql/mysql3306/data --plugin-dir=/usr/local/mysql//lib/plugin --log-error=/data/mysql/mysql3306/logs/error.log --open-files-limit=65536 --pid-file=ms51.pid --socket=/data/mysql/mysql3306/tmp/mysql.sock --port=3306 <pre><code> Xenon进程;gutter:true;
[mysql@ms51 xenon-master]$ ps -ef|grep xenon
mysql 637 608 0 11:51 pts/0 00:00:01 bin/xenon -c /etc/xenon/xenon.json

在node1本地可以登录MySQL实例了

bash;gutter:true; [mysql@ms51 xenon-master]$ mysql -S /data/mysql/mysql3306/tmp/mysql.sock -pmysql <pre><code> 启动集群后，可以发现Xenon目录结构有新对象;gutter:true;
[mysql@ms51 xenon-master]$ ls
bin conf docs LICENSE makefile raft.meta README.md src xenon.json xenon.log
[mysql@ms51 xenon-master]$ ls raft.meta/
[mysql@ms51 xenon-master]$

这个目录在xenon添加成员后会保存一个json文件peers.json，里面记录成员信息。

node1查看Xenon集群状态

bash;gutter:true; [mysql@ms51 xenon-master]$ bin/xenoncli cluster status +---------------------+-------------------------------+---------+---------+--------------------------+--------------------+----------------+----------+ | ID | Raft | Mysqld | Monitor | Backup | Mysql | IO/SQL_RUNNING | MyLeader | +---------------------+-------------------------------+---------+---------+--------------------------+--------------------+----------------+----------+ | 192.168.188.51:8801 | [ViewID:0 EpochID:0]@FOLLOWER | RUNNING | ON | state:[NONE]␤ | [ALIVE] [READONLY] | [true/true] | | | | | | | LastError: | | | | +---------------------+-------------------------------+---------+---------+--------------------------+--------------------+----------------+----------+ (1 rows) <pre><code> #如果mysql列为空，检查Xenon日志。应该是连接用户有问题，没连接上——这就是前面创建root@127.0.0.1的原因。 ## 在node1中添加其它节点就是xenon.json中的host段的内容，先添加node2;gutter:true;
[mysql@ms51 xenon-master]$ bin/xenoncli cluster add 192.168.188.51:8801,192.168.188.52:8801
2020/05/01 12:03:23.654459 [WARNING] cluster.prepare.to.add.nodes[192.168.188.51:8801,192.168.188.52:8801].to.leader[]
2020/05/01 12:03:23.654522 [WARNING] cluster.canot.found.leader.forward.to[192.168.188.51:8801]
2020/05/01 12:03:23.655442 [WARNING] cluster.add.nodes.to.leader[].done

再检查集群状态

[mysql@ms52 ~]$ cd /data/xenon-master/
[mysql@ms52 xenon-master]$ bin/xenon -c /etc/xenon/xenon.json > ./xenon.log 2>&1 &

[mysql@ms52 xenon-master]$ ps -ef|grep mysql
root 576 24 0 12:07 pts/0 00:00:00 su – mysql
mysql 577 576 0 12:07 pts/0 00:00:00 -bash
mysql 596 577 0 12:07 pts/0 00:00:00 bin/xenon -c /etc/xenon/xenon.json
mysql 608 1 0 12:07 pts/0 00:00:00 /bin/sh /usr/local/mysql/bin/mysqld_safe –defaults-file=/data/mysql/mysql3306/my3306.cnf
mysql 1726 608 0 12:07 pts/0 00:00:00 /usr/local/mysql/bin/mysqld –defaults-file=/data/mysql/mysql3306/my3306.cnf –basedir=/usr/local/mysql/ –datadir=/data/mysql/mysql3306/data –plugin-dir=/usr/local/mysql//lib/plugin –log-error=/data/mysql/mysql3306/logs/error.log –open-files-limit=65536 –pid-file=ms52.pid –socket=/data/mysql/mysql3306/tmp/mysql.sock –port=3306

回到node1上查看集群状态，能看到node2状态了

但是此时node2并未添加成员，所以集群并未真正建立。此时不会开启选举，因此二者都是readonly状态，myleader列也都是空值。

在node2上添加集群成员node1

这一步可以得出结论：

Xenon集群创建时，需要至少保证2个节点之间彼此添加对方为成员，才会开始选举。

否则都read only。

在node1和node2上添加成员node3，并启动node3的Xenon

node3添加集群成员，然后立即通过node1查看集群状态

bash;gutter:true; [mysql@ms53 xenon-master]$ bin/xenoncli cluster add 192.168.188.51:8801,192.168.188.52:8801,192.168.188.53:8801 2020/05/01 15:04:39.640015 [WARNING] cluster.prepare.to.add.nodes[192.168.188.51:8801,192.168.188.52:8801,192.168.188.53:8801].to.leader[] 2020/05/01 15:04:39.640080 [WARNING] cluster.canot.found.leader.forward.to[192.168.188.53:8801] 2020/05/01 15:04:39.641207 [WARNING] cluster.add.nodes.to.leader[].done [mysql@ms51 xenon-master]$ bin/xenoncli cluster status +---------------------+-------------------------------+---------+---------+--------------------------+---------------------+----------------+---------------------+ | ID | Raft | Mysqld | Monitor | Backup | Mysql | IO/SQL_RUNNING | MyLeader | +---------------------+-------------------------------+---------+---------+--------------------------+---------------------+----------------+---------------------+ | 192.168.188.51:8801 | [ViewID:6 EpochID:2]@LEADER | RUNNING | ON | state:[NONE]␤ | [ALIVE] [READWRITE] | [true/true] | 192.168.188.51:8801 | | | | | | LastError: | | | | +---------------------+-------------------------------+---------+---------+--------------------------+---------------------+----------------+---------------------+ | 192.168.188.52:8801 | [ViewID:6 EpochID:2]@FOLLOWER | RUNNING | ON | state:[NONE]␤ | [ALIVE] [READONLY] | [true/true] | 192.168.188.51:8801 | | | | | | LastError: | | | | +---------------------+-------------------------------+---------+---------+--------------------------+---------------------+----------------+---------------------+ | 192.168.188.53:8801 | [ViewID:6 EpochID:2]@FOLLOWER | RUNNING | ON | state:[NONE]␤ | [ALIVE] [READONLY] | [true/true] | 192.168.188.51:8801 | | | | | | LastError: | | | | +---------------------+-------------------------------+---------+---------+--------------------------+---------------------+----------------+---------------------+ (3 rows) <pre><code> 可以发现，在node3添加集群成员前，在集群中查看node3节点的MyLeader是空值。在node3添加集群成员后，集群状态中MyLeader列才有值。这一步可以得出结论：MyLeader非空时才意味着节点接入了Xenon集群的业务。 ## 启动集群后因为踩过坑，一定要检查一下各节点半同步的状态由于timeout设置的非常大，如果半同步未建立成功，那么数据库操作会hang，生产的话就出大事了。 ### node1：;gutter:true;
mysql> show master status;
+——————+———-+————–+——————+——————————————+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+——————+———-+————–+——————+——————————————+
| mysql-bin.000005 | 194 | | | 5ea86dca-8b58-11ea-86d8-0242c0a8bc33:1-5 |
+——————+———-+————–+——————+——————————————+
1 row in set (0.00 sec)

mysql> show slave status\G
Empty set (0.00 sec)

node2:

bash;gutter:true; mysql> show master status; +------------------+----------+--------------+------------------+------------------------------------------+ | File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set | +------------------+----------+--------------+------------------+------------------------------------------+ | mysql-bin.000006 | 194 | | | 5ea86dca-8b58-11ea-86d8-0242c0a8bc33:1-5 | +------------------+----------+--------------+------------------+------------------------------------------+ 1 row in set (0.00 sec) mysql> show slave status \G .. ***** 1. row ******* 1 row in set (0.00 sec) mysql> mysql> show global status like '%semi%'; +--------------------------------------------+-------+ | Variable_name | Value | +--------------------------------------------+-------+ | Rpl_semi_sync_slave_status | ON | +--------------------------------------------+-------+ 15 rows in set (0.01 sec) <pre><code> ### node3：;gutter:true;
mysql> show master status;
+——————+———-+————–+——————+——————————————+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+——————+———-+————–+——————+——————————————+
| mysql-bin.000005 | 194 | | | 5ea86dca-8b58-11ea-86d8-0242c0a8bc33:1-5 |
+——————+———-+————–+——————+——————————————+
1 row in set (0.00 sec)

mysql> show slave status \G
*************************** 1. row ***************************
..

1 row in set (0.00 sec)

测试一下

前面配置Xenon参数的时候已经额外增加了主从角色的sysvars，以灵活启用半同步参数。

集群里创建一个用户，供client角色使用

bash;gutter:true; mysql> create user kk@'192.168.188.%' identified by 'kk'; Query OK, 0 rows affected (0.02 sec) mysql> grant super on . to kk@'192.168.188.%'; Query OK, 0 rows affected (0.02 sec) mysql> grant all privileges on . to kk@'192.168.188.%'; Query OK, 0 rows affected (0.01 sec) <pre><code> 随便找一个节点作为client角色，通过sip访问xen集群再这里选择使用ms53节点作为client;gutter:true;
[mysql@ms53 xenon-master]$ mysql -h 192.168.188.50 -ukk -pkk

mysql> use kk
Database changed
mysql> show tables;
Empty set (0.00 sec)

mysql> create table k1(id int primary key auto_increment, numbers int);
Query OK, 0 rows affected (0.04 sec)

mysql> exit

模拟业务运行，不停产生事务

bash;gutter:true; [mysql@ms53 xenon-master]$ while : ;do echo "insert into kk.k1(numbers) values(round(rand()*10086));" |mysql -h 192.168.188.50 -ukk -pkk ;sleep 10 ;done <pre><code> 另外起一个session ，查看一下表的状态;gutter:true;
mysql> select count(*) from kk.k1;
+———-+
| count(*) |
+———-+
| 2779 |
+———-+
1 row in set (0.00 sec)

okay，让它先插着吧，我们去创建新环境

创建新节点

配置新节点

创建mysql用户

步骤略。

配置mysql环境

步骤略。

配置mysql用户ssh互信

步骤略。

安装xtrabackup

步骤略。

部署xenon

步骤略。

尝试启动xen

bash;gutter:true; [mysql@ms54 xenon-master]$ bin/xenon -c /etc/xenon/xenon.json > xenon.log 2>&1 & [1] 18042 [mysql@ms54 xenon-master]$ bin/xenoncli cluster status cluster.go:227: unexpected error: get.client.error[dial tcp 192.168.188.54:8801: connect: connection refused] <pre><code> 2020/05/01 13:45:11.234158 [PANIC] get.client.error[dial tcp 192.168.188.54:8801: connect: connection refused] panic: [PANIC] get.client.error[dial tcp 192.168.188.54:8801: connect: connection refused] goroutine 1 [running]: xbase/xlog.(*Log).Panic(0xc000184300, 0x8d111e, 0x2, 0xc000197b28, 0x1, 0x1) /data/xenon-master/src/xbase/xlog/xlog.go:142 +0x153 cli/cmd.ErrorOK(0x9796e0, 0xc000184880) /data/xenon-master/src/cli/cmd/common.go:35 +0x245 cli/cmd.clusterStatusCommandFn(0xc0001e4fc0, 0xcac370, 0x0, 0x0) /data/xenon-master/src/cli/cmd/cluster.go:227 +0xaa vendor/github.com/spf13/cobra.(*Command).execute(0xc0001e4fc0, 0xcac370, 0x0, 0x0, 0xc0001e4fc0, 0xcac370) /data/xenon-master/src/vendor/github.com/spf13/cobra/command.go:603 +0x22e vendor/github.com/spf13/cobra.(*Command).ExecuteC(0xc78820, 0x1, 0xc000197f78, 0x40744f) /data/xenon-master/src/vendor/github.com/spf13/cobra/command.go:689 +0x2bc vendor/github.com/spf13/cobra.(*Command).Execute(...) /data/xenon-master/src/vendor/github.com/spf13/cobra/command.go:648 main.main() /data/xenon-master/src/cli/cli.go:43 +0x31 </code></pre> <pre><code> 会报错，查看日志是无法访问本地mysql ### 无视错误，直接添加集群成员;gutter:true;
[mysql@ms54 xenon-master]$ bin/xenoncli cluster add 192.168.188.51:8801,192.168.188.52:8801,192.168.188.53:8801,192.168.188.54:8801
2020/05/01 13:46:11.930873 [WARNING] cluster.prepare.to.add.nodes[192.168.188.51:8801,192.168.188.52:8801,192.168.188.53:8801,192.168.188.54:8801].to.leader[]
2020/05/01 13:46:11.930963 [WARNING] cluster.canot.found.leader.forward.to[192.168.188.54:8801]
2020/05/01 13:46:11.933108 [WARNING] cluster.add.nodes.to.leader[].done
[mysql@ms54 xenon-master]$ bin/xenoncli cluster status
+———————+——————————-+————+———+————————–+———————+—————-+———————+
| ID | Raft | Mysqld | Monitor | Backup | Mysql | IO/SQL_RUNNING | MyLeader |
+———————+——————————-+————+———+————————–+———————+—————-+———————+
| 192.168.188.54:8801 | [ViewID:0 EpochID:3]@FOLLOWER | NOTRUNNING | ON | state:[NONE]␤ | [] | [false/false] | |
| | | | | LastError: | |
+———————+——————————-+————+———+————————–+———————+—————-+———————+
| 192.168.188.51:8801 | [ViewID:3 EpochID:0]@LEADER | RUNNING | ON | state:[NONE]␤ | [ALIVE] [READWRITE] | [true/true] | 192.168.188.51:8801 |
| | | | | LastError: | |
+———————+——————————-+————+———+————————–+———————+—————-+———————+
| 192.168.188.52:8801 | [ViewID:3 EpochID:0]@FOLLOWER | RUNNING | ON | state:[NONE]␤ | [ALIVE] [READONLY] | [true/true] | 192.168.188.51:8801 |
| | | | | LastError: | |
+———————+——————————-+————+———+————————–+———————+—————-+———————+
| 192.168.188.53:8801 | [ViewID:3 EpochID:0]@FOLLOWER | RUNNING | ON | state:[NONE]␤ | [ALIVE] [READONLY] | [true/true] | 192.168.188.51:8801 |
| | | | | LastError: | |
+———————+——————————-+————+———+————————–+———————+—————-+———————+
(4 rows)

竟然成功了，好像有戏！

尝试无备份情况下直接rebuild

bash;gutter:true; [mysql@ms54 xenon-master]$ bin/xenoncli mysql rebuildme 2020/05/01 13:47:36.300229 [WARNING] =====prepare.to.rebuildme===== IMPORTANT: Please check that the backup run completes successfully. <pre><code> At the end of a successful backup run innobackupex prints "completed OK!". </code></pre> 2020/05/01 13:47:36.300912 [WARNING] S1-->check.raft.leader 2020/05/01 13:47:36.315906 [WARNING] rebuildme.found.best.slave[192.168.188.52:8801].leader[192.168.188.51:8801] 2020/05/01 13:47:36.315973 [WARNING] S2-->prepare.rebuild.from[192.168.188.52:8801].... 2020/05/01 13:47:36.317637 [WARNING] S3-->check.bestone[192.168.188.52:8801].is.OK.... 2020/05/01 13:47:36.317689 [WARNING] S4-->set.learner 2020/05/01 13:47:36.319220 [WARNING] S5-->stop.monitor 2020/05/01 13:47:36.320562 [WARNING] S6-->kill.mysql 2020/05/01 13:47:36.347934 [WARNING] S7-->check.bestone[192.168.188.52:8801].is.OK.... 2020/05/01 13:47:36.351788 [WARNING] S8-->rm.datadir[/data/mysql/mysql3306/data] 2020/05/01 13:47:36.351846 [WARNING] S9-->xtrabackup.begin.... 2020/05/01 13:47:36.352273 [WARNING] rebuildme.backup.req[&{From: BackupDir:/data/mysql/mysql3306/data SSHHost:192.168.188.54 SSHUser:mysql SSHPasswd:mysql SSHPort:22 IOPSLimits:100000 XtrabackupBinDir:/usr/bin}].from[192.168.188.52:8801] 2020/05/01 13:47:36.862121 [PANIC] rsp[cmd.outs.[completed OK!].found[1]!=expects[2]] != [OK] panic: [PANIC] rsp[cmd.outs.[completed OK!].found[1]!=expects[2]] != [OK] goroutine 1 [running]: xbase/xlog.(Log).Panic(0xc000094300, 0x8d8f06, 0xf, 0xc000191d88, 0x1, 0x1) /data/xenon-master/src/xbase/xlog/xlog.go:142 +0x153 cli/cmd.RspOK(...) /data/xenon-master/src/cli/cmd/common.go:41 cli/cmd.mysqlRebuildMeCommandFn(0xc0000e8b40, 0xcac370, 0x0, 0x0) /data/xenon-master/src/cli/cmd/mysql.go:268 +0x847 vendor/github.com/spf13/cobra.(Command).execute(0xc0000e8b40, 0xcac370, 0x0, 0x0, 0xc0000e8b40, 0xcac370) /data/xenon-master/src/vendor/github.com/spf13/cobra/command.go:603 +0x22e vendor/github.com/spf13/cobra.(Command).ExecuteC(0xc78820, 0x1, 0xc000191f78, 0x40744f) /data/xenon-master/src/vendor/github.com/spf13/cobra/command.go:689 +0x2bc vendor/github.com/spf13/cobra.(Command).Execute(...) /data/xenon-master/src/vendor/github.com/spf13/cobra/command.go:648 main.main() /data/xenon-master/src/cli/cli.go:43 +0x31 <pre><code> 毫无意外的失败了 ### 备份一下再试试直接在新节点上执行备份;gutter:true;
[mysql@ms54 xenon-master]$ bin/xenoncli mysql backup –to=/data/backup
2020/05/01 13:49:02.476638 [WARNING] rebuildme.found.best.slave[192.168.188.52:8801].leader[192.168.188.51:8801]
2020/05/01 13:49:02.476764 [WARNING] S1–>found.the.best.backup.host[192.168.188.52:8801]….

2020/05/01 13:49:02.483030 [WARNING] S2–>rm.and.mkdir.backupdir[/data/backup]
2020/05/01 13:49:02.483097 [WARNING] S3–>xtrabackup.begin….

2020/05/01 13:49:02.483672 [WARNING] rebuildme.backup.req[&{From: BackupDir:/data/backup SSHHost:192.168.188.54 SSHUser:mysql SSHPasswd:mysql SSHPort:22 IOPSLimits:100000 XtrabackupBinDir:/usr/bin}].from[192.168.188.52:8801]
2020/05/01 13:49:09.695471 [WARNING] S3–>xtrabackup.end….

2020/05/01 13:49:09.695495 [WARNING] S4–>apply-log.begin….

2020/05/01 13:49:15.592119 [WARNING] S4–>apply-log.end….

2020/05/01 13:49:15.592178 [WARNING] completed OK!

2020/05/01 13:49:15.592183 [WARNING] backup.all.done….

再次尝试rebuildme

依然失败。

突然想到，xtrabackup恢复的时候是需要指定my.cnf文件的，而我当前新环境并没有！也没创建实例的数据目录！

创建目录，创建my3306.cnf

bash;gutter:true; [mysql@ms54 xenon-master]$ mkdir /data/mysql/mysql3306/{data,logs,tmp} -p [mysql@ms54 xenon-master]$ vi /data/mysql/mysql3306/my3306.cnf <pre><code> ### 终于成功了;gutter:true;
[mysql@ms54 xenon-master]$ bin/xenoncli mysql rebuildme
2020/05/01 14:04:53.910063 [WARNING] =====prepare.to.rebuildme=====
IMPORTANT: Please check that the backup run completes successfully.

At the end of a successful backup run innobackupex
prints "completed OK!".

2020/05/01 14:04:53.910476 [WARNING] S1–>check.raft.leader
2020/05/01 14:04:53.921750 [WARNING] rebuildme.found.best.slave[192.168.188.52:8801].leader[192.168.188.51:8801]
2020/05/01 14:04:53.921809 [WARNING] S2–>prepare.rebuild.from[192.168.188.52:8801]….

2020/05/01 14:04:53.923227 [WARNING] S3–>check.bestone[192.168.188.52:8801].is.OK….

2020/05/01 14:04:53.923273 [WARNING] S4–>set.learner
2020/05/01 14:04:53.924674 [WARNING] S5–>stop.monitor
2020/05/01 14:04:53.926274 [WARNING] S6–>kill.mysql
2020/05/01 14:04:53.942920 [WARNING] S7–>check.bestone[192.168.188.52:8801].is.OK….

2020/05/01 14:04:53.945976 [WARNING] S8–>rm.datadir[/data/mysql/mysql3306/data]
2020/05/01 14:04:53.946023 [WARNING] S9–>xtrabackup.begin….

2020/05/01 14:04:53.946406 [WARNING] rebuildme.backup.req[&{From: BackupDir:/data/mysql/mysql3306/data SSHHost:192.168.188.54 SSHUser:mysql SSHPasswd:mysql SSHPort:22 IOPSLimits:100000 XtrabackupBinDir:/usr/bin}].from[192.168.188.52:8801]
2020/05/01 14:05:00.153294 [WARNING] S9–>xtrabackup.end….

2020/05/01 14:05:00.153352 [WARNING] S10–>apply-log.begin….

2020/05/01 14:05:05.228702 [WARNING] S10–>apply-log.end….

2020/05/01 14:05:05.228755 [WARNING] S11–>start.mysql.begin…

2020/05/01 14:05:05.229831 [WARNING] S11–>start.mysql.end…

2020/05/01 14:05:05.229890 [WARNING] S12–>wait.mysqld.running.begin….

2020/05/01 14:05:08.238027 [WARNING] wait.mysqld.running…

2020/05/01 14:05:08.247805 [WARNING] S12–>wait.mysqld.running.end….

2020/05/01 14:05:08.247866 [WARNING] S13–>wait.mysql.working.begin….

2020/05/01 14:05:11.250009 [WARNING] wait.mysql.working…

2020/05/01 14:05:11.250786 [WARNING] S13–>wait.mysql.working.end….

2020/05/01 14:05:11.250863 [WARNING] S14–>stop.and.reset.slave.begin….

2020/05/01 14:05:11.354249 [WARNING] S14–>stop.and.reset.slave.end….

2020/05/01 14:05:11.354321 [WARNING] S15–>reset.master.begin….

2020/05/01 14:05:11.429591 [WARNING] S15–>reset.master.end….

2020/05/01 14:05:11.430310 [WARNING] S15–>set.gtid_purged[5ea86dca-8b58-11ea-86d8-0242c0a8bc33:1-97741
].begin….

2020/05/01 14:05:11.441819 [WARNING] S15–>set.gtid_purged.end….

2020/05/01 14:05:11.441889 [WARNING] S16–>enable.raft.begin…

2020/05/01 14:05:11.443257 [WARNING] S16–>enable.raft.done…

2020/05/01 14:05:11.443320 [WARNING] S17–>wait[3000 ms].change.to.master…

2020/05/01 14:05:11.443833 [WARNING] S18–>start.slave.begin….

2020/05/01 14:05:11.494324 [WARNING] S18–>start.slave.end….

2020/05/01 14:05:11.494404 [WARNING] completed OK!

2020/05/01 14:05:11.494422 [WARNING] rebuildme.all.done….

成功了！

检查一下集群状态

mysql> select count(*) from kk.k1;
+———-+
| count(*) |
+———-+
| 104875 |
+———-+
1 row in set (0.01 sec)

master：

bash;gutter:true; mysql> select count(*) from kk.k1; +----------+ | count(*) | +----------+ | 104875 | +----------+ 1 row in set (0.01 sec)

集群扩容成功！

Xenon集群的搭建总结：

集群节点数要奇数，不然影响选举。
半同步的status非常值得关注，由于timeout设置的非常大，如果半同步未建立成功，那么数据库操作会hang（等待ACK，但是slave永远不会发出ACK，且slave已经完成了复制过来的动作）。解决办法是手动将master复制降级为异步复制：在master上直接运行 set global rpl_semi_sync_master_enabled=0; 之后master会立即完成动作，此时再去调整各节点参数以启用半同步。

Xenon集群节点状态的探索总结：

验证过程太过冗长，直接上结论。

初始化集群阶段，启动xenon@node1。此时xenon中查看集群状态，node1节点恒为read only。
在node1上增加成员节点node2、node3 ，启动xenon@node2。此时xenon中查看集群状态，node1节点恒为read only，node2节点恒为read only，MyLeader都为空。
在node2上增加成员节点node1、node3。此时通过node1查看集群状态，node1、node2节点会短时间内完成选举，胜出者成为master，节点状态变更为read/write。
如果3节点集群突然s2个slave都死掉， xenon在10次重试后，master会解除vip（sip），唯一存活的实例切换为read only。
集群内单节点存活时，单节点永远ro；大于等于2个节点时会选举master，master会rw。
如果所有节点上的xenon进程都被杀掉，那么sip会残留在最后绑定sip的节点上（暂称为旧master）。如果不理会旧master的xen状态，只对其它节点重启xenon后，新master会持有sip。此时两个节点查看ip的话，会发现都持有sip。但是由于arping动作，网络内其它机器都会连接到新master上。
接6，通过在旧master上ssh sip及mysql -h sip，会发现旧master依然毫不知情的连接给自己，哈哈。从这一步可以明白xenon的一个逻辑——加入xenon集群后，经过选举，落选者执行会被raft执行leader-stop-command，释放掉sip。

Xenon backup/rebuild 探索总结：

backup 备份
使用Xenon备份时，备份位置必须指定绝对路径，且mysql用户对该路径具有写权限。
使用Xenon备份时，备份位置目录不存在时Xenon会自动通过ssh通道创建目录。
rebuileme 重建/扩容
- 为Xenon集群添加新节点时，新节点无需初始化MySQL实例，可以基于xenon backup直接rebuildme建立新节点。
- Xenon rebuildme基于xtrabackup，因此在通过rebuildme添加新节点时，需要创建好mysql datadir和my.cnf ，与xenon.json中mysql section对应参数相符合。

https://github.com/jolleykong/gitnote_ms/blob/master/mysql/xenon_on_MySQL5.7.md

Original: https://www.cnblogs.com/konggg/p/12817457.html
Author: 孔个个
Title: Qingcloud_MySQL Plus(Xenon) 高可用搭建实验

原创文章受到原创版权保护。转载请注明出处：https://www.johngo689.com/621354/

转载文章受原作者版权保护。转载请注明原作者出处！

数据库

【自取】最近整理的，有需要可以领取学习：

Linux核心资料大放送~

全栈面试题汇总（持续更新&可下载）

一个提高学习100%效率的工具！

【超详细】深度学习面试题目！

LeetCode Python刷题答案下载！

LeetCode Java版刷题答案下载！

LeetCode C++ 版本，抓紧保存！

LeetCode GO语言刷题答案下载！

sarama Kafka客户端生产者与消费者梳理

生产者 sarama 库提供了同步生产者和异步生产者。 SyncProducer 是在 AsyncProducer 基础上加以条件限制实现的。 type SyncProducer …

数据库 2023年6月16日
0064
Redis——数据操作（3）

2022-09-22 （4）set操作 ①添加操作（sadd）: 例： ②查看操作（smembers）:例： ③移除操作（srem）:例：（5）zset（有序集合而且里面的元素是…

数据库 2023年6月14日
00121
细数线程池五大坑，一不小心线上就崩了

系统性能优化的几种常用手段是异步和缓存。因此我们常常使用线程池异步处理一些业务。线程池的使用还是相对比较简单的，首先创建一个线程池，然后通过execute或submit执行任务。…

数据库 2023年6月6日
00138
tomcat

tomcat 一.简介二.部署tomcat 一.简介 Tomcat 服务器是一个免费的开放源代码的Web 应用服务器，属于轻量级应用服务器，在中小型系统和并发访问用户不是很多的场…

数据库 2023年6月14日
0079
Java面试题(三)–虚拟机

1 内存结构 1、简述一下JVM的内存结构？(高频) JVM在执行Java程序时，会把它管理的内存划分为若干个的区域，每个区域都有自己的用途和创建销毁时间。如下图所示，可以分为两大…

数据库 2023年6月16日
0072
Java 面试题及答案整理（2021最新版）持续更新中~~~

Java面试总结汇总，整理了包括Java基础知识，集合容器，并发编程，JVM，常用开源框架Spring，MyBatis，数据库，中间件等，包含了作为一个Java工程师在面试中需要用…

数据库 2023年6月9日
0083
手把手教你定位线上MySQL锁超时问题，包教包会

昨晚我在床上睡着了，突然来了一条短信。 [En] I was asleep in bed last night when suddenly a text message came….

数据库 2023年5月24日
0070
Java学习-第一部分-第二阶段-第六节：泛型

泛型笔记目录：(https://www.cnblogs.com/wenjie2000/p/16378441.html) 泛型的理解和好处看一个需求请编写程序，在ArrayLi…

数据库 2023年6月11日
0089
CentOS7源码安装Python、virtualenv虚拟环境安装、uwsgi安装配置

一：Python源码安装 1：Python源码下载XZ开头的 https://www.python.org/downloads/source/ 2：解压：tar xf Python…

数据库 2023年6月6日
00100
使用JMeter进行MySQL的压力测试

GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 GreatSQL是MySQL的国产分支版本，使用上与MySQL一致。前言 1. JMeter安装 2…

数据库 2023年5月24日
0089
Shell 中 [[]]和[]的区别

多数情况下 []和 [[]]是可以通用的，两者的主要差异是： test或 []是符合POSIX标准的测试语句，兼容性更强，几乎可以运行在所有Shell解释器中，相比较而言 [[]]…

数据库 2023年6月14日
0074
4 String是基本数据类型吗

不是，Java中的基本类型只有8种，分别是：byte，short，int，long，float，double，char，boolean；除了以上8种基本数据类型以外，其余的均为引…

数据库 2023年6月6日
0068
bat 脚本启用及禁用网卡

启用网卡需要以管理员身份运行bat脚本 netsh interface set interface "Npcap Loopback Adapter" enab…

数据库 2023年6月9日
00115
MSQL–>存储引擎

概述 MySQL体系结构图 Innodb引擎是在mysql的5.5版本之后的默认存储引擎。 Index是在引擎层次的，不同的存储引擎index的用法不同。存储引擎就是存储数据，建…

数据库 2023年6月14日
0077
斗地主游戏的案例开发

关于java后端的斗地主游戏开发案例（只实现后端部分）斗地主游戏的案例开发业务需求分析: 斗地主的做牌, 洗牌, 发牌, 排序（拓展知识）, 看牌。业务: 总共有54张牌。点数…

数据库 2023年6月16日
0071
此计算机缺少”vc2005_spl_with_atl_fix_redist”解决问题

1、安装loadrunner提示:此计算机缺少 vc2005_spl_with_atl_fix_redist 2、进入目录，点击vcredist_x86.exe,对组件进行安装：E…

数据库 2023年6月14日
0090

2024 年 4 月
一	二	三	四	五	六	日
1	2	3	4	5	6	7
8	9	10	11	12	13	14
15	16	17	18	19	20	21
22	23	24	25	26	27	28
29	30

Qingcloud_MySQL Plus(Xenon) 高可用搭建实验

配置GTID+半同步、创建复制架构

node1、node2、node3 检查下列参数，以支持半同步开启

配置复制架构

node1、node2、node3重置一下master status：

配置半同步

node1、node2、node3所有节点加载半同步库

node2、node3（临时从库）启用半同步

创建数据库用户root@127.0.0.1

安装依赖

获取、部署Xenon

完成编译后， 规划文件目录结构（也可以不做）

建立config.path文件，以指定默认配置文件位置（所有节点）

配置xenon.json（所有节点）

node1查看Xenon集群状态

node2:

测试一下

集群里创建一个用户，供client角色使用

模拟业务运行，不停产生事务

创建新节点

配置新节点

尝试启动xen

尝试无备份情况下直接rebuild

再次尝试rebuildme

创建目录，创建my3306.cnf

检查一下集群状态

Xenon集群的搭建总结：

Xenon backup/rebuild 探索总结：

大家都在看

完成编译后，规划文件目录结构（也可以不做）