MySQL MHA 运行状态监控

一 项目描述

1.1 背景

MHA(Master HA)是一款开源的 MySQL 的高可用程序,它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时,会提升其中拥有最新数据的 slave 节点成为新的master 节点。自动FailOver的前置条件一定是MHA是启动运行的状态。在生产环境中,有时会因为没有及时开启或者运行异常停止而不知,导致MySQL主节点异常时,没有自动FailOver,影响了生产,或延长了处理时间,使故障升级。

此外,MHA发生FailOver后,MHA的运行状态会由 is running(0:PING_OK) 变更为stopped(2:NOT_RUNNING),从运行反馈结果变化上,可以判断是否可能发生了主从切换。可以作为一个Warning处理。

综上,对MHA的运行状态的监控很有必要。

1.2 实现设计

MHA是运行在Manager 节点上的,一个Manager 节点可以管理数十个集群。目前,我们的监控体系是Telegraf + InfluxDB + Grafana,所以,需要在Manager 节点部署Telegraf,去收集MHA的运行状态,保存到 InfluxDB。在既有的Grafana MySQL Dashboard中,添加一个关于 masterha_check_status 的panel 即可。

1.2.1 之前的方法

在 《以实现MongoDB副本集状态的监控为例,看Telegraf系统中Exec输入插件如何编写部署》 一文中的第七部分,我们有介绍一种方法实现MySQL MHA的监控,但这种方法是每一个集群都需要手动维护,自动发现的功能不够好,增加维护成本,特别是集团的MHA集群比较多时。

1.2.2 优化后的方法

Manager 节点为每个监控的MHA集群提供一个专用的配置文件,优化后的监控方法,根据配置文件自动发现、自动调整监控,不再需要逐一配置和维护。

部署的步骤如下:

MySQL MHA 运行状态监控

二.实现详情

2.1 编辑Python可执行文件

可执行文件为telegraf_checkmhastatus.py

#!/usr/bin/python
-*- coding: UTF-8 -*-

import os
import io
import re
import ConfigParser

Path='/cnf/mhacnf'
#fout=open('输出文件名','w')
for Name in os.listdir(Path) :
  Pathname= os.path.join(Path,Name)
 ## print(Pathname)
 ## print(Name)
  config =ConfigParser.ConfigParser()
  try:
    config.read(Pathname)
    server_item = config.sections()
    server1_host = ''  ##MHA cnf 配置文件中的节点1
    server2_host = ''  ##MHA cnf 配置文件中的节点2
    server3_host = ''  ##MHA cnf 配置文件中的节点3
    mha_cnf_remark = ''
    if 'server1' in server_item:
      server1_host = config.get('server1','hostname')
    else:
       server1_host = ''
       mha_cnf_remark = mha_cnf_remark + 'Server1未配置;'
    if 'server2' in server_item:
      server2_host = config.get('server2','hostname')
    else:
      server2_host = ''
      mha_cnf_remark = mha_cnf_remark + 'Server2未配置;'
    if 'server3' in server_item:
      server3_host = config.get('server3','hostname')

      ##print(mha_cnf_remark)
  except Exception as e:
    print(e)

  mha_status_result =''
  if server1_host <> '' and server2_host <> '':
    cmd_mha_status ='/usr/local/bin/masterha_check_status --conf='+Pathname
    with os.popen(cmd_mha_status) as mha_status:
      mha_status_result = mha_status.read()
      if 'running(0:PING_OK)' in mha_status_result:
        print('masterha_check_status,server='+server1_host+' Status=1i')
        print('masterha_check_status,server='+server2_host+' Status=1i')
      if 'stopped(2:NOT_RUNNING)' in mha_status_result:
      ##else:
        print('masterha_check_status,server='+server1_host+' Status=0i')
        print('masterha_check_status,server='+server2_host+' Status=0i')

说明:

(1)遍历 /cnf/mhacnf目录下的文件(假设MHA配置文件的配置文件在此目录下);

(2)对每个文件执行masterha_check_status –cong = XXXX,XXXX为具体的配置文件;判断运行结果;

(3)获取MHA集群节点;

(4)因为我们MHA集群都是一主一从,所以,只 if server1_host <> ” and server2_host <> ”:一种情况,大家可根据需要,根据具体的场景,变更。

(5)数据保存到名叫masterha_check_status的measurement中,Tag Key 有 host 和 server;当运行OK时,Status=1,否则,Status=0。

(6)Server对应的数据为Server IP(注意,会在grafana配置时以此关联)。

调整说明

运行一段时间,我们发现一个场景没有覆盖,即当MHA FailOver 后,配置文件中 Server 信息就会不全,例如 Server1 切换到 Server中,配置文件中就会把server1 信息移除掉。

此时,如果继续运行上面的代码,此时就识别不出的server1的配置,就会被赋值为 server =”, 就不能向监控数据库insert数据了。

所以,我么建议,当识别不出时,将server赋值为mha manger 的server IP,这样就会把上面的问题解决了。

同时,还可以通过告警信息,快速定位到 mha manger 所在的节点,这在 公司解决众多,manger 节点多个的时候,特别有用。

#!/usr/bin/python
-*- coding: UTF-8 -*-

import os
import io
import re
import ConfigParser

Path='/cnf/mhacnf'
#fout=open('输出文件名','w')
for Name in os.listdir(Path) :
  Pathname= os.path.join(Path,Name)
 ## print(Pathname)
 ## print(Name)
  config =ConfigParser.ConfigParser()
  try:
    config.read(Pathname)
    server_item = config.sections()
    server1_host = ''  ##MHA cnf 配置文件中的节点1
    server2_host = ''  ##MHA cnf 配置文件中的节点2
    server3_host = ''  ##MHA cnf 配置文件中的节点3
    mha_cnf_remark = ''
    if 'server1' in server_item:
      server1_host = config.get('server1','hostname')
    else:
       server1_host = 'XXX.XXX.XXX.XXX' ### mha manger  节点所在server ip
       mha_cnf_remark = mha_cnf_remark + 'Server1未配置;'
    if 'server2' in server_item:
      server2_host = config.get('server2','hostname')
    else:
      server2_host = 'XXX.XXX.XXX.XXX'  ### mha manger 节点所在server ip
      mha_cnf_remark = mha_cnf_remark + 'Server2未配置;'
    if 'server3' in server_item:
      server3_host = config.get('server3','hostname')

      ##print(mha_cnf_remark)
  except Exception as e:
    print(e)

  mha_status_result =''
  if server1_host <> '' and server2_host <> '':
    cmd_mha_status ='/usr/local/bin/masterha_check_status --conf='+Pathname
    with os.popen(cmd_mha_status) as mha_status:
      mha_status_result = mha_status.read()
      if 'running(0:PING_OK)' in mha_status_result:
        print('masterha_check_status,server='+server1_host+' Status=1i')
        print('masterha_check_status,server='+server2_host+' Status=1i')
      if 'stopped(2:NOT_RUNNING)' in mha_status_result:
      ##else:
        print('masterha_check_status,server='+server1_host+' Status=0i')
        print('masterha_check_status,server='+server2_host+' Status=0i')

2.2 修改 telegraf 文件

文件默认目录为/etc/telegraf/,默认文件为telegraf.conf。

将执行文件嵌入到telegraf.conf中,由python驱动。

代码如下:

[[inputs.exec]]
  ##Commands array
  commands = ["python /data/check_mha_status/check_mha_status.py",]
  timeout='60s'
  data_format="influx"

MySQL MHA 运行状态监控

2.3 修改telegraf service的运行账号

telegraf服务的启动账号默认为telegraf,但是,其中调用了Python和python的可执行文件,需要修改权限。为了简便,升级telegraf service的运行账号,修改成root。🙂

修改telegraf.service,默认路径为/usr/lib/systemd/system/telegraf.service。

修改后的代码如下:

[Unit]
Description=The plugin-driven server agent for reporting metrics into InfluxDB
Documentation=https://github.com/influxdata/telegraf
After=network.target

[Service]
EnvironmentFile=-/etc/default/telegraf
##User=telegraf
User=root
ExecStart=/usr/bin/telegraf -config /etc/telegraf/telegraf.conf -config-directory /etc/telegraf/telegraf.d $TELEGRAF_OPTS
ExecReload=/bin/kill -HUP $MAINPID
Restart=on-failure
RestartForceExitStatus=SIGPIPE
KillMode=control-group

[Install]
WantedBy=multi-user.target

2.4 启动Telegraf 服务

service telegraf start     ####启动服务
service telegraf status   ####服务状态查看
service telegraf stop     ####关闭服务

2.5 配置Grafana,增加Panel

因为MySQL实例节点的telegraf也会汇报各自的数据,例如MySQL连接数、TPS、QPS、主从状态、延迟、资源(CPU、内存、磁盘、IOWait)等等,这些指标在一个Dashboard上,而新收集的MHA运行状态是新增的的一个MySQL指标,所以,应该将MHA运行状态作为既有MySQL Dashboard的一个Panel。

在MySQL实例节点上汇报的数据是各个节点的host 和 instance(Server IP:端口);而MHA 运行状态汇报的数据是manager节点的host 和 各个实例Server IP。所以,依据Host 关联,整合到一个Dashboard是实现不了的(因为没有关联性)。只能通过 instance(Server IP:端口) 和 Server IP 进行关联了。

首先,将instance(Server IP:端口) 正则下,去除端口数据,实现方式,增加一个grafana变量–server_ip,如下:

MySQL MHA 运行状态监控

注意上面的数据源来自measurement为mysql。

然后,再增加一个grafana变量–mha_server,注意,会依赖上面的变量server_ip。

这样 mysql 和 masterha_check_status 两个measurement就关联起来了,可以联动了。

MySQL MHA 运行状态监控

最后,增加 panel设置下,就可以了,如下。

MySQL MHA 运行状态监控

SQL 语句如下:

SELECT mean("Status") FROM "masterha_check_status" WHERE ("server" =~ /^$mha_server$/) AND $timeFilter GROUP BY time(1m) fill(null)

三 .实现

MySQL MHA 运行状态监控

运行状态为1,异常或关闭为0.

还可以增加Alarm告警,例如邮箱、微信、钉钉等,在此就不展开了。

补充点

(1) 因为优化后的监控方法,根据配置文件自动发现、自动调整监控。所以,如果新增一个MHA,而这个过程又比较长,比如10分钟,这个时候,既有的MHA监控可能会报错或报警。

为了避免这种情况发生,建议新增的MHA的配置文件,最后再放至到MHA配置文件的目录上。或者,先将配置文件放到其他的目录上,MHA配置OK后,最后一步再移到/cnf/mhacnf目录下。

(2) 是否可以将MHA日志 通过ELK收集,甚至收集到MySQL中。

应该说部分是可以的。manger.log 这种failover的log 可以收集,但是 .health 文件不可以。因为.healthy 的内容不是换行符结尾,而filebeat是以换行符来判断的(https://www.elastic.co/guide/en/beats/filebeat/7.4/newline-character-required-eof.html 有详细说明)。

如果需要filebeat + logstash + mysql ,需要 离线安装logstash-output-jdbc,可参考 https://blog.csdn.net/sxw1065430201/article/details/123663108。

Original: https://www.cnblogs.com/xuliuzai/p/15387089.html
Author: 东山絮柳仔
Title: MySQL MHA 运行状态监控

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/620948/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • MySQL函数2

    聚合函数(只有一个结果) [En] Aggregate function (only one result) 聚合函数的介绍 在目前的MySQL下不可以嵌套使用 聚合函数的常用类型…

    数据库 2023年5月24日
    0123
  • Linux–>网络配置

    虚拟机NAT网络关系图 在Linux中查看网络配置 ifconfig ping 测试主机之间网络连通性 测试当前服务器是否可以连接目的主机 ping &#x76EE;&am…

    数据库 2023年6月14日
    0104
  • 红黑树

    2-3-4树 JAVA技术交流群:737698533 定义 所有的叶子节点都拥有相同的深度 节点只能是2-节点,3-节点,或者4-节点 2节点 包含一个元素的节点,有两个子节点 3…

    数据库 2023年6月16日
    084
  • 不要让“Clean Code”更难维护,请使用“Rule of Three”

    当人们试图将”代码整洁之道(Clean Code)”的原则应用于现有的代码库时,我经常会问这个问题。 我认为这是合情合理的。 当我们开始重构遗留代码时,通常…

    数据库 2023年6月14日
    0112
  • 一个线程的打工故事

    前言 前几天小强去阿里巴巴面试Java岗,止步于二面。 他和我诉苦自己被虐的多惨多惨,特别是深挖线程和线程池的时候,居然被问到不知道如何作答。 对于他的遭遇,结合他过了一面的那个嘚…

    数据库 2023年6月16日
    0136
  • 记录下在阿里云linux上安装与配置Mysql

    环境:阿里云ECS服务器,系统为centos7.2 用户:root 参考博客: https://blog.csdn.net/kunzai6/article/details/8193…

    数据库 2023年6月16日
    0125
  • 视频语义分割基准数据集与评估方法

    概述 本文来源于《A Benchmark Dataset and Evaluation Methodology for Video Object Segmentation》,论文主…

    数据库 2023年6月11日
    088
  • 互联网校招指北

    这篇文章写着写着,突然觉得《紧急救援》中有一句台词很对: “不是幸运给你机会,而是因为够坚持,才有了幸运的机会” 共勉~ 时间跨度 一年共两次校招季,2 月…

    数据库 2023年6月6日
    0103
  • leetcode 148. Sort List 排序链表(中等)

    给你链表的头结点 head ,请将其按 升序 排列并返回 排序后的链表 。 示例 1: 输入:head = [4,2,1,3]输出:[1,2,3,4] 示例 2: 输入:head …

    数据库 2023年6月16日
    095
  • MySQL alter table时执行innobackupex全备再谈Seconds_Behind_Master

    1.场景描述 早上7:25 接到Report中心同学告警,昨天业务报表数据没有完整跑出来,缺少500位业务员的数据,并且很快定位到,缺少的是huabei_order库上的数据。Re…

    数据库 2023年5月24日
    0110
  • django中有关ajax的部分

    Django_ajax AJAX(Asynchronous Javascript And XML)翻译成中文就是”异步Javascript和XML”。即使用…

    数据库 2023年6月14日
    0103
  • git仓库push 和 pull只获取部分文件的方法

    gitee项目https://gitee.com/kehaoo/mytest目录结构如下其中part1.txt和part2.txt都是内容都是空的 在另一个文件夹将项目part1文…

    数据库 2023年6月11日
    0116
  • Mysql索引总结

    一、索引分类 Hash索引:Hash 索引查询效率很高,时间复杂度O(1)。Mysql Innodb引擎不支持hash索引的。Hash索引适合精确查找,不适合范围查找。 平衡二叉树…

    数据库 2023年5月24日
    082
  • MySQL实战45讲 12

    12 | 为什么我的MySQL会”抖”一下? 一条 SQL 语句,正常执行的时候特别快,但是 有时也不知道怎么回事,它就会变得特别慢,并且这样的场景很难复现…

    数据库 2023年5月24日
    085
  • The user specified as a definer(‘mysql.infochema’@”localhost’) does not exist

    最近将之前用的 mysql5.5 升级到了 mysql8.0,第一天还能正常使用,几天没用后,登录发现报错:The user specified as a definer (&#8…

    数据库 2023年6月6日
    096
  • 从学校到公司,2022新的起点!!!

    步入新的阶段 目前仍然是大学生的身份,但也算是打工人了。2021秋招时来到了天津的一个公司做实习生,并签订了三方协议。已经来公司将近一个月了,我在这段时间想了很多关于我的未来发展方…

    数据库 2023年6月6日
    080
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球