RocketMQ系列二:RocketMQ监控/告警一站式搭建应用


实验简介
研究RocketMQ的同学都知道,RocketMQ的生态目前并不是很完善,包括官方的文档资料也有限,官方的Console存在一些Bug,页面
的样式有的也有问题,但是正是由于这些原因,我们针对RocketMQ能做的事有很多,不像Kafka,生态已经很完善,一些企业也对Kafka
做了开源的产品,最近开始做基于K8S的RocketMQ管理控制台,需要对每个集群有完善的监控告警,接下来就简单说明一下做
RocketMQ的监控有哪些步骤。

实验详情
一、实验环境说明
启动namesrv。观察到启动成功的日志后, ctrl + c,终止日志输出。
cd /usr/local/services/5-rocketmq/namesrv-01

restart.sh

启动broker
修改broker配置项brokerIP1为实验公网IP,启动broker。观察到启动成功的日志后, ctrl + c,终止日志输出。

操作命令如下:

cd /usr/local/services/5-rocketmq/broker-01

vim ./conf/broker.conf

restart.sh

二、如何编译和部署RocketMQ
(本教程会以如何利用RocketMQ Exporter源码编译并打包,部署一个Exporter实例。)

jdk安装

jdk 安装

maven安装

在自己电脑上, 进入命令行, 选择一个保存源码的目录, 这里我把源码保存到 /tiger/tmp为例

2.1 创建代码保存目录(已创建则不操作)并进入代码保存目录:

mkdir -p /tiger/tmp
cd /tiger/tmp

2.2 克隆master代码

2.3 进入源码根目录:

cd rocketmq-exporter

修改配置文件中的namesrv地址
vim src/main/resources/application.yml

执行打包命令
mvn clean package -Dmaven.test.skip=true

编译打包成功后, 我们执行:
cd target
ls -l

运行exporter
java -Xms200m -Xmx200m -Xmn200m -jar rocketmq-exporter-0.0.2-SNAPSHOT.jar

查看exporter采集结果
通过访问http://实验公网IP:30903/metrics, 可以看到采集结果.

三、配置Prometheus采集RocketMQ
(本节将介绍如何在Prometheus上配置RocketMQ Exporter。Prometheus的部署在这里暂时不做更多介绍, 实验环境已经部署好一个Prometheus,这里我们直接使用)

1.启动RocketMQ Exporter(已经启动则不用操作)

进入Prometheus根目录,启动Prometheus
cd /usr/local/services/3-prometheus

./restart.sh

也可以通过访问http://实验公网IP:30902 的形式访问prometheus

进入prometheus根目录,修改配置文件
cd /usr/local/services/3-prometheus

vim prometheus.yml

执行热加载配置命令
./reload.sh

验证配置是否生效
登录promethues页面,通过观察Targets,我们看到配置已经生效了

登录promethues首页, 通过输入rocketmq我们可以查询到全部rocketmq的指标。目前在实验环境中的Exporter总共82个指标。想了解每个指标的具体含义可以翻看我写的<

四、配置Grafana展示RocketMQ监控
(本节将介绍如何在Grafana上配置RocketMQ的监控指标。实验环境已经安装好了RocketMQ集群, RocketMQ Exporter, Prometheus, 只需要启动即可)

  1. 启动Grafana

cd /usr/local/services/4-grafana

./restart.sh

启动完成后, 可以访问http://实验环境公网IP:30901, 使用账号 rocketmq/rocketmq666 账号密码登录。

找到数据源配置菜单,点击进入

填写prometheus信息,保存

创建一个dashboard, 并创建一个RocketMQ指标监控折线图。下面请按照截图操作。

选择刚刚创建的Prometheus数据源,填写一个指标名,则可以预览一个指标的监控曲线。

点击位置4时,弹窗提示保存

tips:Grafana可以用文件夹的形式保存相同类型的Dashboard
3. 配置一个Broker指标监控。

在RocketMQ中一个物理集群可以包含多个逻辑集群, 每个逻辑集群可以有自己的集群名和所包含的Broker。所以这里我们先配置一个下拉列表选择集群名、Broker的关系。

填充一些变量基本信息
变量名,会被曲线图query sql中引用

变量展示的名字, 仅展示

数据源, 这里选择我们之前配置的prometheus

填写查询全部集群名的query。获取一个指标的全部label的值:

label_values(rocketmq_brokeruntime_commitlogdir_capacity_total, cluster)

rocketmq_brokeruntime_commitlogdir_capacity_total是一个指标名, cluster是这个指标的label名字。

如果步骤4正确填写, 可以在这里预览全部的集群名。

点击update可以保存一个集群变量。

下面我们配置选择好一个集群后, 自动筛选出这个集群中的broker, 整个步骤和创建一个变量是一样的,只是query中会引用另一个变量:

label_values(rocketmq_brokeruntime_commitlogdir_capacity_total{cluster=”$clusterName”}, brokerIP)

保存后, 我们查看最后的效果

还有一个问题, 选择了一个集群,一个broker后, 曲线数据没有变化呢? 因为曲线没有和变量联动。

这里以上面配置的曲线为例, 修改query:

rocketmq_brokeruntime_commitlog_disk_ratio{cluster=”$clusterName”, brokerIP=”$broker”}

修改结果为:

点击保存后, 曲线的指标和集群、broker就会联动。

五、RocketMQ官方推荐大盘配置
通过上一节的学习, 我们知道RocketMQ有很多指标, 如果挨个配置曲线比较费劲。 Grafana社区已经收集了很多常用组件的大盘配置,拿到后直接导入自己的Grafana。

下面我们找到RocketMQ的dashboard,然后导入实验环境。

选择一个你喜欢的dashboard,点击进去,下载dashboard的json字符串。

导入Grafana, 并保存。

选择刚刚下载的json文件,导入即可。

选择已有的RocketMQ数据源, 点击导入。

导入完成后我们可以看到结果

Original: https://www.cnblogs.com/bainana/p/16505789.html
Author: 阿里云云起实验室
Title: RocketMQ系列二:RocketMQ监控/告警一站式搭建应用

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/684853/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球