Mysql 实现数据库读写分离

一、Amoeba 是什么

Amoeba(变形虫)项目,专注 分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。

主要解决:

• 降低 数据切分带来的复杂多数据库结构

• 提供切分规则并降低 数据切分规则 给应用带来的影响

• 降低db 与客户端的连接数

• 读写分离

二、为什么要用Amoeba

目前要实现mysql的主从读写分离,主要有以下几种方案:

1、 通过程序实现,网上很多现成的代码,比较复杂,如果添加从服务器要更改多台服务器的代码。

2、 通过mysql-proxy来实现,由于mysql-proxy的主从读写分离是通过lua脚本来实现,目前lua的脚本的开发跟不上节奏,而写没有完美的现成的脚本,因此导致用于生产环境的话风险比较大,据网上很多人说mysql-proxy的性能不高。

3、 自己开发接口实现,这种方案门槛高,开发成本高,不是一般的小公司能承担得起。

4、 利用阿里巴巴的开源项目Amoeba来实现,具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库,并且安装配置非常简单。国产的开源软件,应该支持,目前正在使用,不发表太多结论,一切等测试完再发表结论吧,哈哈!

Mysql 实现数据库读写分离

三、Amoeba+Mysql实现数据库读写分离

基本的原理:让”主”数据库处理事务增,删,改(INSERT,UPDATA,DELETE),”从”数据库处理SELECT查询操作。数据库复制被用来把事务性操作导致变更同步到集群中的从数据库

先介绍下部署环境:

amoeba(代理服务器):192.168.220.33

master-mysql:192.168.220.30

slave1-mysql:192.168.220.31

slave2-mysql:192.168.220.32

客户机(本机 win11):192.168.220.2

系统:centOS 7.9

MySQL:5.7

Amoeba:3.0.5 (框架是居于java语言开发)

jdk:1.8

部署MySQL一主多从:

注:做 主从 数据库里数据最好是保持一致

1、主数据库:master-mysql

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.00 sec)

mysql>
mysql> grant all on *.* to 'test'@'192.168.220.%' identified by '1234.Com'; #创建授权用户 为amoeba提供登录
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql>
mysql> grant replication slave on *.* to 'slave'@'192.168.220.%' identified by '1234.Com'; #主从模式
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql>
mysql> show master status\G;
*************************** 1. row ***************************
             File: mysql-bin.000001 #从库加入主库时 需要配置的二进制文件名
         Position: 154         # 二进制日子 从 pos 154 开始被slave
复制
备份 Binlog_Do_DB: Binlog_Ignore_DB: Executed_Gtid_Set: 1 row in set (0.00 sec) ERROR: No query specified mysql>

2、从数据库:slave1-mysql

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.00 sec)

mysql>
mysql> change master to master_host='192.168.220.30',master_user='slave',master_password='1234.Com',,master_log_file='mysql-bin.000001',master_log_pos=154;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

mysql>
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)

mysql> show slave status\G; #查看从库的连接状态,I/O,SQL 都要为 YES
*************************** 1. row ***************************
               Slave_IO_State: Connecting to master
                  Master_Host: 192.168.220.30
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 154
               Relay_Log_File: slave1-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: YES
            Slave_SQL_Running: Yes
              Replicate_Do_DB:

       ····················

ERROR:
No query specified
mysql> grant all on *.* to 'test'@'192.168.220.%' identified by '1234.Com'; #创建授权用户 为amoeba提供登录
Query OK, 0 rows affected, 1 warning (0.00 sec)

3、从数据库:slave2-mysql

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
4 rows in set (0.00 sec)

mysql>
mysql> change master to master_host='192.168.220.30',master_user='slave',master_password='1234.Com',,master_log_file='mysql-bin.000001',master_log_pos=154;
Query OK, 0 rows affected, 2 warnings (0.01 sec)

mysql>
mysql> start slave;
Query OK, 0 rows affected (0.01 sec)

mysql> show slave status\G; #查看从库的连接状态,I/O,SQL 都要为 YES
*************************** 1. row ***************************
               Slave_IO_State: Connecting to master
                  Master_Host: 192.168.220.30
                  Master_User: slave
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: mysql-bin.000001
          Read_Master_Log_Pos: 154
               Relay_Log_File: slave1-relay-bin.000001
                Relay_Log_Pos: 4
        Relay_Master_Log_File: mysql-bin.000001
             Slave_IO_Running: YES
            Slave_SQL_Running: Yes
              Replicate_Do_DB:

       ····················

ERROR:
No query specified
mysql> grant all on *.* to 'test'@'192.168.220.%' identified by '1234.Com'; #创建授权用户 为amoeba提供登录
Query OK, 0 rows affected, 1 warning (0.00 sec)

4、主库测试:创建一个测试库并添加创建表和添加数据,查看从库是否同步

mysql> create database test;
Query OK, 1 row affected (0.00 sec)

mysql> use test;
Database changed

mysql> create table test (id int);
Query OK, 0 rows affected (0.01 sec)

mysql> insert into test values (1);
Query OK, 1 row affected (0.00 sec)

mysql> select * from test;
+------+
| id   |
+------+
|    1 |
+------+
1 row in set (0.00 sec)

mysql>

5、slave1 从库测试:

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> select * from test.test;
+------+
| id   |
+------+
|    1 |
+------+
1 row in set (0.00 sec)

mysql>

6、slave2 从库测试:

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| performance_schema |
| sys                |
| test               |
+--------------------+
5 rows in set (0.00 sec)

mysql> select * from test.test;
+------+
| id   |
+------+
|    1 |
+------+
1 row in set (0.00 sec)

mysql>

从数据库同步正常,主从数据库部署完成,接下来部署 Amoeba

Amoeba 安装部署

1、安装java环境

先去官网下载:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

安装

[root@amoeba src]# rpm -ivh jdk-8u111-linux-x64.rpm
Preparing...                ########################################### [100%]
   1:jdk1.8.0_111           ########################################### [100%]
Unpacking JAR files...

    tools.jar...

    plugin.jar...

    javaws.jar...

    deploy.jar...

    rt.jar...

    jsse.jar...

    charsets.jar...

    localedata.jar...

设置Java环境

[root@amoeba src]# vim /etc/profile

#set java environment
JAVA_HOME=/usr/java/jdk1.8.0_111
JRE_HOME=/usr/java/jdk1.8.0_111/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH[root@bogon amoeba]# source /etc/profile

测试是否安装成功

[root@bogon src]# java -version
java version "1.8.0_111"
Java(TM) SE Runtime Environment (build 1.8.0_111-b14)
Java HotSpot(TM) 64-Bit Server VM (build 25.111-b14, mixed mode)

2、安装Amoeba

可以从https://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/3.x/下载最新版本的Amoeba,我这里下载的是amoeba-mysql-3.0.5-RC-distribution.zip。Amoeba安装非常简单,直接解压即可使用,这里将Amoeba解压到/usr/local/amoeba目录下,这样就安装完成了

[root@amoeba amoeba]# pwd
/usr/local/amoeba
[root@amoeba amoeba]# ll
total 48
drwxr-xr-x 2 root root    63 Aug 16 10:24 benchmark
drwxr-xr-x 2 root root   131 Feb 29  2012 bin
-rwxr-xr-x 1 root root  3976 Aug 29  2012 changelogs.txt
drwxr-xr-x 2 root root   243 Aug 16 14:53 conf
drwxr-xr-x 3 root root  4096 Aug 16 10:24 lib
-rwxr-xr-x 1 root root 34520 Aug 29  2012 LICENSE.txt
drwxr-xr-x 2 root root   133 Aug 16 10:25 logs
-rwxr-xr-x 1 root root  2031 Aug 29  2012 README.html
[root@amoeba amoeba]#

3.配置Amoeba(实现读写分离,两个slave”读”负载)

Amoeba的配置文件在本环境下位于:/usr/local/amoeba/conf 目录下,实现读写分离和负载 只需要 dbServers.xml和amoeba.xml 两个文件即可,下面介绍

dbServer.xml

[root@amoeba amoeba]# cd conf/
[root@amoeba conf]# ls
access_list.conf  amoeba.xml    dbServers.xml  functionMap.xml  log4j.xml  ruleFunctionMap.xml
amoeba.dtd        dbserver.dtd  function.dtd   log4j.dtd        rule.dtd   rule.xml
[root@amoeba conf]# cat dbServers.xml
"1.0" encoding="gbk"?>

span>"dbserver.dtd">
"http://amoeba.meidusa.com/">

        

    "abstractServer" abstractive="true">
        class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
            "manager">${defaultManager}
            "sendBufferSize">64
            "receiveBufferSize">128

            
            "port">3306  #设置Amoeba 连接数据库的端口,默认 3306

            
            "schema">mysql  #设置 缺省的数据库,我这里使用的MySQL版本为5.7版本,默认是没有test库的,会报所以找不到默认的库,我之前搭建的MySQL版本是5.5是不需要修改的,没注意到这一点

            
            "user">test  #设置amoeba连接后端数据库服务器的账号和密码,上面已为 test 授权 和设置了密码

            
            "password">1234.Com</property>

        

        class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
            "maxActive">500  #最大连接数,默认为500
            "maxIdle">500  #最大空闲连接数
            "minIdle">10  #最新空闲连接数
            "minEvictableIdleTimeMillis">600000
            "timeBetweenEvictionRunsMillis">600000
            "testOnBorrow">true
            "testOnReturn">true
            "testWhileIdle">true
        
    

    "master"  parent="abstractServer">  #设置一个空间名称,可任意命名,这里定义为:master,顾名思义就是为master库创建一个命名空间,后面会用到
        
            
            "ipAddress">192.168.220.30 #设置 master的IP,功能可写
        
    

    "slave1"  parent="abstractServer">  #设置slava1 命名空间名称
        
            
            "ipAddress">192.168.220.31 # 设置slave1的IP,功能可写
        
    
    "slave2"  parent="abstractServer"> #设置slava2 命名空间名称
        
            
            "ipAddress">192.168.220.32  #设置 slave的ip,功能可写
        
    

    "slaves" virtual="true">  #设置定义一个虚拟的dbserver,实际上相当于一个dbserver组,这里将可读的数据库ip统一放到一个组中,将这个组的名字命名为slaves
        class="com.meidusa.amoeba.server.MultipleServerPool">
            
            "loadbalance">1 #选择调度算法,1表示复制均衡,2表示权重,3表示HA, 这里选择1

            
            "poolNames">slave1,slave2  #slave组成员,把slave1,slave2 加入成员里,可实现 “读” 负载
        
    


[root@amoeba conf]# 

amoeba.xml

[root@amoeba amoeba]# cd conf/
[root@amoeba conf]# ls
access_list.conf  amoeba.xml    dbServers.xml  functionMap.xml  log4j.xml  ruleFunctionMap.xml
amoeba.dtd        dbserver.dtd  function.dtd   log4j.dtd        rule.dtd   rule.xml
[root@amoeba conf]# cat amoeba.xml
"1.0" encoding="gbk"?>

"amoeba.dtd">
"http://amoeba.meidusa.com/">

        "Amoeba for Mysql" class="com.meidusa.amoeba.net.ServerableConnectionManager">

            "port">8066  #设置amoeba 今天的端口,默认是8066

            "manager">${clientConnectioneManager}

            "connectionFactory">
                class="com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory">
                    "sendBufferSize">128
                    "receiveBufferSize">64

            "authenticator">
                class="com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator">

                    "user">amoeba  #提供客服端连接amoeba是需要使用设定的账号,账号密码可任意设置和数据服务器里的密码无关

                    "password">123456

                    "filter">
                        class="com.meidusa.amoeba.server.IPAccessController">
                            "ipFile">${amoeba.home}/conf/access_list.conf

        "Amoeba Monitor Server" class="com.meidusa.amoeba.monitor.MonitorServer">

            "ipAddress">127.0.0.1
            "daemon">true
            "manager">${clientConnectioneManager}
            "connectionFactory">
                class="com.meidusa.amoeba.monitor.net.MonitorClientConnectionFactory">

        class="com.meidusa.amoeba.mysql.context.MysqlRuntimeContext">

            "readThreadPoolSize">20

            "clientSideThreadPoolSize">30

            "serverSideThreadPoolSize">30

            "statementCacheSize">500

            "queryTimeout">60

        "clientConnectioneManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
            "subManagerClassName">com.meidusa.amoeba.net.ConnectionManager

        "defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
            "subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager

    class="com.meidusa.amoeba.context.DBServerConfigFileLoader">
        "configFile">${amoeba.home}/conf/dbServers.xml

    class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
        "ruleLoader">
            class="com.meidusa.amoeba.route.TableRuleFileLoader">
                "ruleFile">${amoeba.home}/conf/rule.xml
                "functionFile">${amoeba.home}/conf/ruleFunctionMap.xml

        "sqlFunctionFile">${amoeba.home}/conf/functionMap.xml
        "LRUMapSize">1500
        "defaultPool">master  #设置amoeba默认是的池,这里设置为master(在dbServers.xml文件中,我们定义了一会master的空间名称以及对应的服务器IP)

        "writePool">master  #设置写的池,master作为主数据库,处理的业务为 增,删,改 都是写操作,所以这设置为master
        "readPool">slaves   #设置读的池  slave 作为从库,负责 查(SELECT,因为我们有两个slave,在定义命名空间时,我们配置了一个slaves组,里面有slave1,slave2两个成员,这样就可以达到 读的负载
        "needParse">true

3、启动Amoeba

[root@amoeba ~]# /usr/local/amoeba/bin/launcher &
    at org.codehaus.plexus.classworlds.launcher.Launcher.launchStandard(Launcher.java:329)
    at org.codehaus.plexus.classworlds.launcher.Launcher.launch(Launcher.java:239)
    at org.codehaus.plexus.classworlds.launcher.Launcher.mainWithExitCode(Launcher.java:409)
    at org.codehaus.classworlds.Launcher.mainWithExitCode(Launcher.java:127)
    at org.codehaus.classworlds.Launcher.main(Launcher.java:110)
Caused by: com.meidusa.toolkit.common.bean.util.InitialisationException: default pool required!,defaultPool=writedb invalid
    at com.meidusa.amoeba.route.AbstractQueryRouter.init(AbstractQueryRouter.java:469)
    at com.meidusa.amoeba.context.ProxyRuntimeContext.initAllInitialisableBeans(ProxyRuntimeContext.java:337)
    ... 11 more
 2022-8-16 18:46:37 [INFO] Project Name=Amoeba-MySQL, PID=1577 , System shutdown ....

Java HotSpot(TM) 64-Bit Server VM warning: ignoring option PermSize=16m; support was removed in 8.0
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=96m; support was removed in 8.0
2022-8-16 18:50:19 [INFO] Project Name=Amoeba-MySQL, PID=1602 , starting...

log4j:WARN log4j config load completed from file:/usr/local/amoeba/conf/log4j.xml
2022-8-16 18:50:21,668 INFO  context.MysqlRuntimeContext - Amoeba for Mysql current versoin=5.1.45-mysql-amoeba-proxy-3.0.4-BETA
log4j:WARN ip access config load completed from file:/usr/local/amoeba/conf/access_list.conf
2022-8-16 18:50:22,852 INFO  net.ServerableConnectionManager - Server listening on 0.0.0.0/0.0.0.0:8066.

查看端口

[root@amoeba ~]# netstat -anpt | grep java
tcp6       0      0 127.0.0.1:13319         :::*                    LISTEN      21350/java
tcp6       0      0 :::8066                 :::*                    LISTEN      21350/java

4、Amoeba 登录测试(客户端-本机:win11)

Mysql 实现数据库读写分离

测试结果:登录后 所在的库是”mysql”库,可读取,可写入,到这里数据库读写分离部,负载部署完成!!!

下面就是读写分离的效果测试:

四、测试读写分离,负载效果

1、读写分离测试:

测试1 :mysql-master down机,写入报错,读正常

mysql-master:

[root@mysql_master ~]# systemctl stop mysqld

客服端:

mysql> select * from test;  #可正常查询
+------+
| id   |
+------+
|    1 |
|    2 |
+------+
2 rows in set (0.00 sec)

mysql>
mysql> insert into test values (3);
ERROR 2013 (HY000): Lost connection to MySQL server during query  #写入失败

Original: https://www.cnblogs.com/yuwen01/p/16591876.html
Author: xiao智
Title: Mysql 实现数据库读写分离

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/505012/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • Jenkins权限配置

    Jenkins权限配置 需要的插件 一、添加用户 二、修改配置 三、管理添加角色 添加全局查看角色 给全局角色添加用户(Anonymous-任何人) 添加角色(全局,项目) 检查项…

    数据库 2023年6月11日
    0148
  • mysql笔记

    DBMS:数据库管理系统SQL:用于访问和处理数据库的标准的计算机语言DB:数据库 三者的关系: DBMS数据库管理系统执行SQL语句,来操作DB数据库当中的数据的 条件查询 in…

    数据库 2023年5月24日
    0120
  • SQL 版本号排序

    SQL 语句直接对内容为版本号格式的字段进行排序时,排序效果通常不是最终想要的效果,因为最终需要的效果,是需对版本号里的每一段(通常以小数点分隔)按数值进行排序。 解决这个问题,主…

    数据库 2023年5月24日
    0132
  • 微服务架构项目浅析

    微服务架构的演变 最初的需求 业务发展后需要克服的问题 微服务架构使用的组件 Nginx Redis Rabbitmq Mysql jar jdk * 总结 ​ 这个章节主要介绍微…

    数据库 2023年6月6日
    0116
  • 牛客SQL刷题第三趴——SQL大厂面试真题

    结果,保留了两位小数,并根据播放进度以相反的顺序进行排序。 [En] As a result, two decimal places are retained and sorted…

    数据库 2023年5月24日
    0165
  • Linux–>进程管理

    基本介绍 在Linux中, 每个执行程序都称为一个进程。每一个进程都会分配一个ID号(pid,进程号) 每个进程都可能以俩种方式存在的。分别是 前台与 后台,所谓前台进程就是用户目…

    数据库 2023年6月14日
    0162
  • MySQL主从复制

    一、概述 主从复制是指将主数据库(Master)的DDL和DML操作通过二进制日志传到从库(Slave)服务器中,然后在从库上对这些日志重新执行(也叫重做),从而使得从库和主库的数…

    数据库 2023年5月24日
    0152
  • 在CentOS 7系统安装StoneDB数据库

    今天我会进行StoneDB数据库在CentOS 7系统下的安装。 在官方的快速部署文档中有详细的安装流程,我会严格遵循流程。 [En] There is a detailed in…

    数据库 2023年5月24日
    0146
  • Vue(十三)—过滤器filter,filters

    官网:https://cn.vuejs.org/v2/api/#filters https://cn.vuejs.org/v2/api/#Vue-filter 分为全局过滤器和局部…

    数据库 2023年6月16日
    0137
  • 多态:向上转型和向下转型

    1)本质:父类的引用指向了子类的对象 2)语法:父类类型 引用名 = new 子类类型(); 3)特点:编译类型看左边,运行类型看右边。 可以调用父类中的所有成员(需遵守访问权限)…

    数据库 2023年6月11日
    0136
  • 数据库治理的云原生之道 —— Database Mesh 2.0

    2018 年 3 月,一篇《Service Mesh 是大方向,那 Database Mesh 呢?》迅速火爆技术圈。在这篇文章中,Apache ShardingSphere 创始…

    数据库 2023年6月16日
    0133
  • MySQL实战45讲 19

    19 | 为什么我只查一行的语句,也执行这么慢? 有些情况下,”查一行”,也会执行得特别慢。 需要说明的是,如果 MySQL 数据库本身就有很大的压力,导致…

    数据库 2023年5月24日
    094
  • mysql常用操作汇总

    工作中经常用会遇到这种情况,可以访问mysql所在的服务器,但是服务器端口不对外暴露(通常因为安全原因)。这时,操作数据库只能通过命令行和 mysql client窗口来实现。我对…

    数据库 2023年6月14日
    0137
  • mysqlCRUD

    &#x67E5;&#x8BE2;&#x4E00;&#x4E2A;&#x6BB5;&#x91CC;&#x6240;&#…

    数据库 2023年6月9日
    0106
  • 记一次有意思的业务实现 → 单向关注是关注,双向关注则成好友

    开心一刻 有一个问题一直困扰着我:许仙选择了救蛇,但为什么杨果选择了救鹰(而不是救蛇)。 [En] A question has been bothering me: Xu Xia…

    数据库 2023年5月24日
    0178
  • java读取文本文件的方法

    文本文件是我们日常开发中,常用的简单存储载体,那么如何读取文本文件呢? 下文笔者将通过示例的方式讲述读取文本文件的方法分享,如下所示: 文本文件是最常用的文件格式之一, 下文是笔者…

    数据库 2023年6月11日
    0144
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球