为开源项目 go-gin-api 增加后台任务模块

任务管理界面 (WEB)

为开源项目 go-gin-api 增加后台任务模块

支持在 WEB 界面 中对任务进行管理,例如: 新增任务编辑任务启用/禁用任务手动执行任务 等。

任务的属性包括:

  • 任务名称
  • 执行方式
  • SHELL
  • HTTP
  • 表达式(/5 * * *)
  • 命令
  • 超时时间(秒)
  • 重试次数
  • 重试间隔(秒)
  • 执行结束是否通知
  • 不通知
  • 失败通知
  • 结束通知
  • 结果关键字匹配通知
  • 状态
  • 备注

当执行方式为 HTTP 时,支持选择请求方式 GETPOST

当设置执行结束通知时,支持选择通知方式 邮件 或 Webhook

当设置邮件通知时,支持输入邮箱地址多个用,分割;

当设置结果关键字匹配通知时,支持输入关键字多个用,分割;

任务增加完成后,会把任务数据持久化到 MySQL 中。

任务调度器

参考了两个开源组件:

最终选择使用 jakecoffman/cron ,后者是在前者的基础上做了一定的补充,例如 AddFunc() 增加了 name 参数,同时还增加了 RemoveJob(name string) 支持删除特定的任务。

// AddFunc adds a func to the Cron to be run on the given schedule.

func (c *Cron) AddFunc(spec string, cmd func(), name string) {
    c.AddJob(spec, FuncJob(cmd), name)
}

...

// RemoveJob removes a Job from the Cron based on name.

func (c *Cron) RemoveJob(name string) {
    if !c.running {
        i := c.entries.pos(name)

        if i == -1 {
            return
        }

        c.entries = c.entries[:i+copy(c.entries[i:], c.entries[i+1:])]
        return
    }

    c.remove <- name } < code></->

对其简单封装下就可以使用了,下面是封装的方法,方法的具体实现与使用从 go-gin-api 中获取。

type Server interface {
    i()

    // Start &#x542F;&#x52A8; cron &#x670D;&#x52A1;
    Start()

    // Stop &#x505C;&#x6B62; cron &#x670D;&#x52A1;
    Stop()

    // AddTask &#x589E;&#x52A0;&#x5B9A;&#x65F6;&#x4EFB;&#x52A1;
    AddTask(task *cron_task_repo.CronTask)

    // RemoveTask &#x5220;&#x9664;&#x5B9A;&#x65F6;&#x4EFB;&#x52A1;
    RemoveTask(taskId int)

    // AddJob &#x589E;&#x52A0;&#x5B9A;&#x65F6;&#x4EFB;&#x52A1;&#x6267;&#x884C;&#x7684;&#x5DE5;&#x4F5C;&#x5185;&#x5BB9;
    AddJob(task *cron_task_repo.CronTask) cron.FuncJob
}

当调用 Start() 启动服务时,会把 MySQL 中的任务列表加载到调度器中。

通过以上方法,当从 WEB &#x754C;&#x9762; 操作 新增、编辑、启用/禁用、手动执行任务时,可以动态的对调度器中的任务进行管理。

任务执行器

任务执行器指的是任务真实执行所在的机器。

我的思路是使用 Kafka 的发布与订阅功能,当调度器发现需要执行的任务时,将任务信息写到 KafkaTopic 中,任务执行器订阅相关的 Topic 获取任务信息然后执行任务。

如果任务的执行方式为 HTTP,那么任务执行器可以为一组集群,专门处理调用 HTTP 任务,这里可以为一个消费组( Consumer Group),也可适具体场景而定。

如果任务的执行方式为 SHELL,那么任务执行器必须在脚本所在的宿主机上,这里可以为一个具体任务的消费者。

如果任务量过多,可以考虑根据业务场景多设置几个 Topic

在项目中为了便于演示,不写入到 Kafka 中,仅记录了日志。

func (s *server) AddJob(task *cron_task_repo.CronTask) cron.FuncJob {
    return func() {
        s.taskCount.Add()
        defer s.taskCount.Done()

        msg := fmt.Sprintf("&#x5F00;&#x59CB;&#x6267;&#x884C;&#x4EFB;&#x52A1;&#xFF1A;(%d)%s [%s]", task.Id, task.Name, task.Spec)
        s.logger.Info(msg)
    }
}

日志目录: /logs/go-gin-api-cron.log

小结

本文纯属抛砖引玉,有问题,欢迎批评指正。

go-gin-api 项目安装简单,开箱即用,创建一个后台任务试试吧。

推荐阅读

Original: https://www.cnblogs.com/xinliangcoder/p/15230197.html
Author: 新亮笔记
Title: 为开源项目 go-gin-api 增加后台任务模块

原创文章受到原创版权保护。转载请注明出处:https://www.johngo689.com/516616/

转载文章受原作者版权保护。转载请注明原作者出处!

(0)

大家都在看

  • 自己实现一个Controller——标准型

    标准Controller 上一篇通过一个简单的例子,编写了一个controller-manager,以及一个极简单的controller。从而对controller的开发有个最基本…

    Go语言 2023年5月25日
    090
  • Go easyjson使用技巧

    原文链接:http://www.zhoubotong.site/post/37.html 如果使用go语言自带的json库,使用的是反射,而go语言中反射性能较低。easyjson…

    Go语言 2023年5月25日
    068
  • 【golang详解】go语言GMP(GPM)原理和调度

    Goroutine调度是一个很复杂的机制,下面尝试用简单的语言描述一下Goroutine调度机制,想要对其有更深入的了解可以去研读一下源码。 首先介绍一下GMP什么意思: G &#…

    Go语言 2023年5月25日
    066
  • 【golang】 关于for range中只存储最后一个元素的问题

    前言: 今天用for range写了个demo,发现无论怎么运行,最后的结果是一直是最后一个。自己思考过后,又和其他伙伴商量了下,最终算是解决了自己的疑惑。 正文: 下面我们来看个…

    Go语言 2023年5月25日
    064
  • 我好像发现了一个Go的Bug?

    从一次重构说起 这事儿还得从一次重构优化说起。 最近在重构一个路由功能,由于路由比较复杂,需求变化也多,于是想通过 &#x8D23;&#x4EFB;&#x9…

    Go语言 2023年5月25日
    060
  • Go语言之变量与基础数据类型

    Go 是静态(编译型)语言,是区别于解释型语言的弱类型语言(静态:类型固定,强类型:不同类型不允许直接运算) 例如 python 就是动态强类型语言 1、Go 的特性: 跨平台的编…

    Go语言 2023年5月25日
    062
  • 支持首次触发的 Go Ticker

    促使我写这篇文章主要是在写一个关于虚拟货币账户监控的项目时使用 Ticker 的问题。 Ticker 的问题 如果用过 Ticker 的朋友会知道,创建 Ticker 后并不会马上…

    Go语言 2023年5月25日
    076
  • go学习笔记(一)

    零值的 slice等于 nil。 nil值的 slice没有底层数组 nil值的 slice的长度和容量都是 0。但是也有非 nil值的 slice的长度和容量为 0的,如 []i…

    Go语言 2023年5月25日
    039
  • 微服务-限流:一.golang实现令牌桶算法

    起初是因为要去拉取一些第三方的数据,而第三方的API接口都有限流措施。比如6000/分钟,500/分钟。想着拉取数据就用多个协程的方式。但是容易超频,所以想着写一个限流的东东。网上…

    Go语言 2023年5月25日
    051
  • 基于知名微服务框架go-micro开发gRPC应用程序

    go-micro是golang的一个微服务框架。 go-micro各个版本之间的兼容性问题一直被诟病,前几年go-micro更是分化出了两个分支: 一个延续了go-micro,只不…

    Go语言 2023年5月25日
    0140
  • Go语言之高级篇beego框架之日志收集系统

    一、日志收集系统架构设计 图1 图2 二、开发环境 1、安装jdk jdk-8u51-windows-x64.exe 安装目录:C:\Program Files\jdk8 2、安装…

    Go语言 2023年5月29日
    056
  • Go代码规范梳理

    注释语句 // Request 表示运行命令的请求。 type Request struct { … // Encode 将 req 的 JSON 编码写入 w 。 func …

    Go语言 2023年5月25日
    071
  • Go语言 异常panic和恢复recover用法

    背景:Go语言追求简洁优雅,所以,Go语言不支持传统的 try…catch…finally 这种异常,因为Go语言的设计者们认为,将异常与控制结构混在一起会…

    Go语言 2023年5月29日
    057
  • Kubernetes容器编排探索与实践v1.22.1-上半部分

    概述 本人博客网站 IT小神; www.itxiaoshen.com Kubernetes官网地址 https://kubernetes.ioKubernetes GitHub源码…

    Go语言 2023年5月25日
    0100
  • Go 语言快速开发入门

    需求 开发的步骤 linux下如何开发Go程序 MAC下如何开发Go程序 Golang执行流程分析 编译和运行说明 Go程序开发的注意事项 Go语言的转义字符(escapechar…

    Go语言 2023年5月25日
    082
  • muduo源码分析之TcpServer模块

    这次我们开始 muduo源代码的实际编写,首先我们知道 muduo是 LT模式, Reactor模式,下图为 Reactor模式的流程图[来源1] 然后我们来看下 muduo的整体…

    Go语言 2023年5月25日
    053
亲爱的 Coder【最近整理,可免费获取】👉 最新必读书单  | 👏 面试题下载  | 🌎 免费的AI知识星球