美团动态线程池实践思路,开源了(二)

大家好,动态线程池项目DynamicTp开源一个多月,目前400多star,说明还是比较受欢迎的,现在已经有一些小伙伴在接入使用或者即将接入使用了,为了项目以后更好的发展迭代,打算出几篇文章来对DynamicTp做一些更详细的介绍,有兴趣的小伙伴欢迎一起参与进来完善迭代项目。

背景啥的可以看前一篇文章介绍
美团动态线程池实践思路,开源了

项目地址

感谢star,欢迎pr,业务之余给开源贡献一份力量

gitee地址https://gitee.com/yanhom/dynamic-tp

github地址https://github.com/lyh200/dynamic-tp

代码结构

美团动态线程池实践思路,开源了(二)

1.adapter模块:主要是适配一些第三方组件的线程池管理,目前已经实现的有SpringBoot内置的三大web容器(Tomcat、Jetty、Undertow)的线程池管理,后续可能接入其他常用组件的线程池管理。
2.common模块:主要是一些各个模板都会用到的类,解耦依赖,复用代码,大家日常开发中可能也经常会这样做。
3.core模块:该框架的核心代码都在这个模块里,包括动态调整参数,监控报警,以及串联整个项目流程都在此。
4.example模块:提供一个简单使用示例,方便使用者参照
5.logging模块:用于配置框架内部日志的输出,目前主要用于输出线程池监控指标数据到指定文件
6.starter模块:集成各个配置中心实现动态更新配置,目前已经集成Nacos、Apollo两个主流配置中心,使用者也可以参照扩展其他配置中心实现,客户端使用也只需引入相应starter依赖就行。

可以看出,项目还是比较简单的,总代码量也就180Kb左右,相当轻量。配置解析、报警平台、配置中心、监控数据输出、拒绝策略等都提供有SPI接口供使用者扩展,高度可定制化(自定义实现也可以提PR合并到项目中供他人使用)。

个人还是有比较强的代码洁癖的,所以代码这块也还是比较干净的(基本没有warning提示),也大量使用一些设计模式优化代码结构,可读性还是比较强的,可以一起交流学习。

美团动态线程池实践思路,开源了(二)

关于扩展

1.扩展配置解析

目前支持的配置文件格式有yaml和properties,如果要扩展其他类型,参考其他两个实现继承AbstractConfigParser类,实现相应方法就行。

美团动态线程池实践思路,开源了(二)

2.扩展报警平台

目前支持的报警平台有钉钉和企业微信,如果要扩展其他平台,参考其他两个实现继承AbstractNotifier类,实现相应方法就行。

美团动态线程池实践思路,开源了(二)

3.扩展监控数据输出

目前监控指标数据支持以JsonLog输出到指定位置和MicroMeter采集两种方式,如果要扩展其他实现,参考其他两个实现继承AbstractCollector类,实现相应方法,然后把配置文件中的collectorType字段配置该类型就行

美团动态线程池实践思路,开源了(二)

4.扩展配置中心

目前支持的配置中心有Nacos和Apollo两种,如果要扩展其他实现,比如ZK、Consul等可以参考其他两个实现继承AbstractRefresher类,实现相应方法就行

美团动态线程池实践思路,开源了(二)

源码怎么读

对源码感兴趣的朋友可以从DtpRegistry这个类入手去读

美团动态线程池实践思路,开源了(二)

围绕注册、获取、刷新这三个核心api去跟代码

注册

注册有两处,都是在spring容器启动时在Bean创建的不同阶段执行,对spring不熟悉的小伙伴随便可以去阅读下spring创建bean的源码,代码里也大量使用了spring的事件机制做代码解耦

1.spring容器启动时DtpPostProcessor会去注册在代码中通过@Bean声明的线程池实例

2.afterPropertiesSet方法会拉去配置中心配置的线程池然后实例化

刷新

配置中心的listener监听到配置文件的变动后,解析配置文件,然后通知DtpRegistry去更新线程池配置,完之后发送变更通知到配置的平台

监控

服务启动后启动一个定时器去做监控报警,可以看DtpMonitor这个类

报警

报警这块代码做了一些抽象设计,运用了像模板方法模式等,代码可读性还是挺强的

看完代码之后你就会发现其实项目挺简单的,但是实用啊,核心代码也就是在元旦那三天写的。

接入使用

建议在配置中心单开一个配置文件,配置文件名称配置到相应字段上。

由于代码一直在迭代中,发布的maven依赖可能不是最新的,线上要使用时可以找我确认下依赖版本。

具体使用步骤上篇文章有讲,可以去看
美团动态线程池实践思路,开源了

这个项目我觉得最大的优点也就是轻量,因为各个公司使用的组件体系都可能不太一样,所以留有足够多的扩展点让自己来扩展。下面一节主要介绍集成prometheus+grafana做监控

监控

这块要讲的是集成prometheus+grafana做监控,事先你得安装好prometheus+grafana,这个就不展开讲了,网上教程很多,测试使用可以直接用docker安装,非常简单。

1.首先配置文件中开启micrometer数据采集

   enabledCollect: true
   collectorType: micrometer

2.项目中引入prometheus依赖,注意可能有版本不兼容问题,我测试遇到过


      io.micrometer
      micrometer-registry-prometheus
      1.8.3

3.开启prometheus指标采集端点

management:
  metrics:
    export:
      prometheus:
        enabled: true
  endpoints:
    web:
      exposure:
        include: '*'   # 线上最后不要*

4.配置prometheus数据采集job,这块可以去了解下他的SD机制(Service Discovery),也就是自动到配置中心发现服务,看你所用的配置中心支不支持这种方式,可以去官网查看,好像是不支持nacos的,但可以去github看有没有别人提供的实现,ZK,Eureka、Consul这些是支持的。这里使用static_configs方式,简单的指定地址的静态配置

- job_name: 'dynamic-tp'
    metrics_path: '/actuator/prometheus'
    static_configs:
      - targets: ['192.168.2.104:9098']

job配置后prometheus管理台看到如下图所示,说明已经开始正常采集指标配置

美团动态线程池实践思路,开源了(二)

5.然后就是配置grafana数据可视化,配置如下图,需要该panel配置Json的可以加我发你,到这里监控就搭建起来了,其实也很简单,然后就可以实时监控线程池数据指标变动了

美团动态线程池实践思路,开源了(二)

联系我

对项目有什么想法或者建议,可以加我微信交流,或者创建issues,一起完善项目

公众号:CodeFox

微信:yanhom1314

Original: https://www.cnblogs.com/yanhom/p/15944541.html
Author: yanhom1314
Title: 美团动态线程池实践思路,开源了(二)

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/610598/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • rocketmq实现延迟队列精确到秒级实现方案3-时间轮和秒级文件实现

    时间轮和秒级文件实现原理图 这种方案比较简单实现,通过秒级时间,建立对应的文件夹,只要相同的时间超时的消息,就在同一个目录,通过msgid保证文件不重复,等到了时间后,就扫描对应的…

    Java 2023年6月5日
    068
  • Kafka 消费者解析

    一、消费者相关概念 1.1 消费组&消费者 消费者: 消费者从订阅的主题消费消息,消费消息的偏移量保存在Kafka的名字是 __consumer_offsets的主题中 消…

    Java 2023年6月5日
    060
  • 2022-8-24 js

    JavaScript脚本语言,解释性 主要给HTML网页&#x…

    Java 2023年6月13日
    051
  • 按部就班的写作方法

    1.计划 阶段目标:拟定一份大纲 ① 收集想法。 ② 选择布局。 ③ 选择引言和结论。 ④ 留意那些观点需要证实,以及你将怎么证实他们。 2.起草 阶段目标:写出一份草稿 ① 在起…

    Java 2023年6月5日
    067
  • CentOS8:No URLs in mirrorlist

    问题 解决方案 更新源 sudo sed -i -e "s|mirrorlist=|#mirrorlist=|g" /etc/yum.repos.d/CentO…

    Java 2023年6月15日
    080
  • SpringBoot 源码解析 (十)—– Spring Boot 精髓:集成AOP

    本篇主要集成Sping一个重要功能AOP 我们还是先回顾一下以前Spring中是如何使用AOP的,大家可以看看我这篇文章spring5 源码深度解析—– A…

    Java 2023年5月29日
    091
  • Spring Boot 入门(十二)部署Elasticsearch

    下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.15.2-linux-x8…

    Java 2023年6月5日
    074
  • 关于java中使用split方法末尾空值被丢弃的问题

    嗯… 在最近的一次项目中,使用split方法分割字符串后得到的数组与预期不符。 查找原因后发现,使用默认的split方法时,会默认丢弃字符串末尾的空值,而字符串中间的空…

    Java 2023年5月29日
    066
  • MySQL8免安装版下载安装与配置(windows)

    一、MySQL8下载 官网下载地址:MySQL :: Download MySQL Community Server 点击免安装版的”Download”跳转…

    Java 2023年6月8日
    093
  • 第一阶段:SpringBoot源码分析

    1.1 SpringBoot 案例实现 SpringBoot默认只扫描…

    Java 2023年6月7日
    077
  • Java学习 (25) 对象篇(05)抽象类&接口

    抽象类 – 语法实例 注意点 具体讲解视频(狂神说Java) 接口 – 语法实例 具体讲解视频(狂神说Java) 抽象类 abstract修饰符可以用来修饰…

    Java 2023年6月8日
    065
  • Spring5

    Spring概述 1、Spring是轻量级开源JavaEE框架 2、Spring可以解决企业应用开发的复杂性 3、组成核心IOC、Aop IOC:控制反转,把创建对象过程交给Spr…

    Java 2023年6月13日
    059
  • Linux常用命令及使用帮助

    转自吾爱破解,略有改动,发帖人已经找不到了,侵删 命令描述 保存不退出 不保存退出 强制退出 表示不保存退出,保留源文件,而另存为其他的文件,可以用 大写Z,保存退出 命令提示符 …

    Java 2023年6月5日
    086
  • 实战篇:Security+JWT组合拳 | 附源码

    Good morning, everyone! 之前我们已经说过用Shiro和JWT来实现身份认证和用户授权,今天我们再来说一下 Security和JWT的组合拳。 简介 先赘述一…

    Java 2023年6月5日
    093
  • 个人学期总结

    个人学期总结 本学期共发表博客93篇 开正题之前先发表一下感慨,说实话,这个学期真的过的很快,转眼间就要大三了,直到现在,我还能清楚的记得这个学期我大概的经历,我是3月1号来的学校…

    Java 2023年6月7日
    075
  • 使用java自带的API实现zip解压缩

    java处理文件时,有时候需要对文件进行zip压缩操作,可以使用java自带的api实现解压缩功能。 1.压缩 1.1 将文件压缩到指定的zip文件 1.2 通过浏览器响应下载文件…

    Java 2023年5月29日
    067
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球