使用Golang的Web框架Iris框架实现分布式任务调度
今日不肯埋头,明日何以抬头!每日一句努力自己的话哈哈~哈喽,今天我将给大家带来一篇《使用Golang的Web框架Iris框架实现分布式任务调度》,主要内容是讲解等等,感兴趣的朋友可以收藏或者有更好的建议在评论提出,我都会认真看的!大家一起进步,一起学习!
随着业务增长,任务越来越多,对于单个机器来说,性能和负载的限制已越来越明显,因此分布式任务调度成为了必然选择。在这篇文章中,我们将学习如何使用Golang中的Iris框架来实现一个基于分布式的任务调度系统。
Iris是一款轻量级的Go语言Web框架,它提供了很好的路由和中间件支持,支持模块化组件和钩子函数,使得把逻辑代码分离在控制层成为了一件轻松的事情。同时Iris也是一款性能出众的框架,其在GitHub上拥有着业界最高的Star数,相信使用Iris框架来实现分布式任务调度应该是非常适合的。
1.使用Iris框架搭建API
首先,我们需要使用Golang的依赖管理工具Go Module来管理我们的依赖。打开终端,输入如下命令:
go mod init github.com/username/project_name
然后,我们需要安装Iris框架,输入如下命令:
go get -u github.com/kataras/iris/v12
安装完成之后,在项目的根目录下新建main.go文件,输入以下代码:
package main import ( "github.com/kataras/iris/v12" ) func main() { // 创建一个Iris App实例 app := iris.New() // 注册路由 app.Get("/ping", func(ctx iris.Context) { ctx.JSON(iris.Map{"message": "pong"}) }) // 启动Iris App if err := app.Listen(":8080"); err != nil { panic(err) } }
这段代码创建了一个Iris App实例,并注册路由,最后使用Listen方法来启动Iris App。在浏览器中输入 http://localhost:8080/ping,应该能看到返回的JSON数据。
2.任务调度功能的实现
接下来,我们需要实现分布式任务调度功能。为了实现这个功能,我们可以使用Golang中的RabbitMQ来实现消息队列,使得我们的分布式任务调度系统可以跨节点调度。
RabbitMQ是一个完整的、可复用的消息系统,它实现了高级消息队列协议(AMQP)。在分布式系统中,RabbitMQ可以确保消息的可靠传输,并且同时支持多个消费者进行消费,具备高可用和水平扩展的能力。这使得RabbitMQ成为分布式任务调度中的最佳选择。
为了使用RabbitMQ,我们需要安装一个Golang的RabbitMQ Client。 执行以下命令:
go get -u github.com/streadway/amqp
在项目的根目录下新建一个rabbitmq.go文件,并输入如下代码:
package main import ( "fmt" "log" "github.com/streadway/amqp" ) const ( // RabbitMQ地址 RabbitMQUrl = "amqp://guest:guest@localhost:5672/" // exchange名称 ExchangeName = "tasks" ) // 连接RabbitMQ func connect() (*amqp.Connection, error) { return amqp.Dial(RabbitMQUrl) } // NewChannel 返回Channel func NewChannel() (*amqp.Channel, error) { conn, err := connect() if err != nil { return nil, err } return conn.Channel() } // Publish 发送消息 func Publish(body []byte) error { ch, err := NewChannel() if err != nil { return err } defer ch.Close() err = ch.ExchangeDeclare( ExchangeName, // name "fanout", // type true, // durable false, // auto-deleted false, // internal false, // no-wait nil, // arguments ) if err != nil { return err } err = ch.Publish( ExchangeName, // exchange "", // routing key false, // mandatory false, // immediate amqp.Publishing{ ContentType: "text/plain", Body: body, }) if err != nil { return err } return nil } // Consume 消费消息 func Consume(handleFunc func([]byte)) error { ch, err := NewChannel() if err != nil { return err } defer ch.Close() err = ch.ExchangeDeclare( ExchangeName, // name "fanout", // type true, // durable false, // auto-deleted false, // internal false, // no-wait nil, // arguments ) if err != nil { return err } q, err := ch.QueueDeclare( "", // name false, // durable false, // delete when unused true, // exclusive false, // no-wait nil, // arguments ) if err != nil { return err } err = ch.QueueBind( q.Name, // queue name "", // routing key ExchangeName, // exchange false, nil) if err != nil { return err } msgs, err := ch.Consume( q.Name, // queue "", // consumer true, // auto-ack false, // exclusive false, // no-local false, // no-wait nil, // args ) if err != nil { return err } go func() { for msg := range msgs { // 调用处理函数 handleFunc(msg.Body) } }() <-make(chan bool) return nil } func main() { // 测试代码 err := Publish([]byte("hello, world")) if err != nil { log.Fatalf("%s: %s", "Failed to publish a message", err) } fmt.Println("send success") Consume(func(msg []byte) { fmt.Printf("received a message: %s ", msg) }) }
在rabbitmq.go文件中,我们实现了Connect、NewChannel、Publish、Consume函数。在这些函数中,我们利用RabbitMQ Client连接到RabbitMQ,建立Channel通道,然后进行消息的发送和消费。我们在Consume方法中传入参数handleFunc来处理消费的消息,这部分需要你根据自己的业务逻辑进行扩展开发。
接下来,我们在API中添加任务调度功能。我们可以新建一个schedule.go文件来存放相关代码:
package main import ( "encoding/json" "github.com/kataras/iris/v12" "github.com/satori/go.uuid" "github.com/robfig/cron/v3" ) // Job 任务信息 type Job struct { ID string `json:"id"` // job id Name string `json:"name"` // 任务名称 CronExpr string `json:"cronExpr"` // Cron表达式 } // JobSchedule 任务调度 type JobSchedule struct { Entries map[string]*cron.CronEntry Cron *cron.Cron } var ( jobSchedule = &JobSchedule{ Entries: make(map[string]*cron.CronEntry), Cron: cron.New(), } ) // 接收任务,添加到JobSchedule中 func addJob(ctx iris.Context) { // 解析任务信息 job := &Job{} if err := ctx.ReadJSON(job); err != nil { ctx.StatusCode(iris.StatusBadRequest) ctx.WriteString(err.Error()) return } // 生成任务id job.ID = uuid.NewV4().String() // 添加任务到JobSchedule中 exprParser := cron.NewParser(cron.Second | cron.Minute | cron.Hour | cron.Dom | cron.Month | cron.Dow) exprNextTime, err := exprParser.Parse(job.CronExpr) if err != nil { ctx.StatusCode(iris.StatusBadRequest) ctx.WriteString(err.Error()) return } cronEntryID, err := jobSchedule.Cron.AddFunc(exprNextTime, func() { Publish([]byte(job.Name)) // 消息发送 }) if err != nil { ctx.StatusCode(iris.StatusBadRequest) ctx.WriteString(err.Error()) return } jobSchedule.Entries[job.ID] = cronEntryID // 返回任务id bytes, _ := json.Marshal(job) ctx.WriteString(string(bytes)) } // 删除任务 func removeJob(ctx iris.Context) { // 解析任务信息 job := &Job{} if err := ctx.ReadJSON(job); err != nil { ctx.StatusCode(iris.StatusBadRequest) ctx.WriteString(err.Error()) return } // 删除任务 if cronEntryID, ok := jobSchedule.Entries[job.ID]; ok { jobSchedule.Cron.Remove(cronEntryID) delete(jobSchedule.Entries, job.ID) ctx.WriteString("OK") return } // 任务不存在 ctx.StatusCode(iris.StatusBadRequest) ctx.WriteString("Job not found") } // 获取任务列表 func getJobs(ctx iris.Context) { jobList := make([]*Job, 0) for jobID, cronEntryID := range jobSchedule.Entries { jobList = append(jobList, &Job{ ID: jobID, Name: "test", CronExpr: jobSchedule.Cron.Entry(cronEntryID).Next.String(), }) } bytes, _ := json.Marshal(jobList) ctx.WriteString(string(bytes)) } func main() { // 注册添加任务、删除任务和获取任务列表接口 app := iris.New() app.Post("/job/add", addJob) app.Post("/job/remove", removeJob) app.Get("/job/list", getJobs) if err := jobSchedule.Cron.Start(); err != nil { panic(err) } // 启动Iris App if err := app.Listen(":8080"); err != nil { panic(err) } }
在schedule.go文件中,我们定义Job和JobSchedule结构体,Job表示任务信息,JobSchedule表示任务调度。我们在JobSchedule中定义了Entries和Cron属性,Entries用于存放运行中的任务,Cron用于调度任务。
我们通过定义addJob、removeJob和getJob函数来实现任务的添加、删除和获取操作。在addJob函数中,我们首先解析任务信息,并生成一个任务ID,然后根据任务的Cron表达式生成下一次的执行时间,之后将任务添加到JobSchedule中,这里使用的是异步的形式发送消息。
在removeJob函数中,我们根据传入的任务ID删除任务。在getJobs函数中,我们遍历JobSchedule的Entries,获取当前运行中的任务列表,并返回。除此之外,我们还启动了Cron实例,用于任务的定时调度。
3.总结
在本文中,我们详细介绍了如何使用Golang中的Iris框架来实现一个分布式的任务调度系统。我们使用了RabbitMQ来实现任务的异步消息发送和消费。使用Iris框架和RabbitMQ Client,使得我们的程序具有了高性能和高可用的特性,能够处理大量的并发请求。
当然,我们在代码实现中还有很多细节需要考虑,比如任务异常的处理、任务分布式的处理等等。不过,本文所介绍的知识点应该已经为你提供了足够的参考,使得你可以在实际项目开发中灵活应用。
到这里,我们也就讲完了《使用Golang的Web框架Iris框架实现分布式任务调度》的内容了。个人认为,基础知识的学习和巩固,是为了更好的将其运用到项目中,欢迎关注golang学习网公众号,带你了解更多关于golang,Iris,分布式任务调度。的知识点!

- 上一篇
- golang 报错:“missing arguments to…” 如何解决?

- 下一篇
- 构建高性能的大数据处理系统:go-zero的应用与实践
-
- Golang · Go教程 | 1分钟前 |
- Golang依赖管理优化,GoModules实用技巧
- 216浏览 收藏
-
- Golang · Go教程 | 3分钟前 |
- Golang文件IO错误与权限处理技巧
- 287浏览 收藏
-
- Golang · Go教程 | 7分钟前 | 中间件模式
- Golang错误处理与中间件使用技巧
- 457浏览 收藏
-
- Golang · Go教程 | 8分钟前 | golang pprof
- Golang性能优化:pprofCPU内存分析实战
- 140浏览 收藏
-
- Golang · Go教程 | 11分钟前 | golang 跨平台编译
- Golang跨平台编译错误解决全攻略
- 111浏览 收藏
-
- Golang · Go教程 | 15分钟前 | golang 错误处理
- Golang错误处理测试技巧与方案
- 463浏览 收藏
-
- Golang · Go教程 | 16分钟前 | golang 性能优化
- Golang内存优化:逃逸分析与内存池技巧
- 427浏览 收藏
-
- Golang · Go教程 | 17分钟前 | Golang测试 CI集成
- Golang测试如何接入CI流程
- 274浏览 收藏
-
- Golang · Go教程 | 17分钟前 |
- MySQL触发器在Debian系统中的使用教程
- 374浏览 收藏
-
- Golang · Go教程 | 26分钟前 | 性能优化 文件写入
- Golang文件写入技巧与Writer对比解析
- 189浏览 收藏
-
- Golang · Go教程 | 38分钟前 |
- Golang指针用法及与C语言区别
- 347浏览 收藏
-
- Golang · Go教程 | 44分钟前 |
- Golang解析JSON数据方法详解
- 326浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 508次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 497次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
-
- 茅茅虫AIGC检测
- 茅茅虫AIGC检测,湖南茅茅虫科技有限公司倾力打造,运用NLP技术精准识别AI生成文本,提供论文、专著等学术文本的AIGC检测服务。支持多种格式,生成可视化报告,保障您的学术诚信和内容质量。
- 143次使用
-
- 赛林匹克平台(Challympics)
- 探索赛林匹克平台Challympics,一个聚焦人工智能、算力算法、量子计算等前沿技术的赛事聚合平台。连接产学研用,助力科技创新与产业升级。
- 169次使用
-
- 笔格AIPPT
- SEO 笔格AIPPT是135编辑器推出的AI智能PPT制作平台,依托DeepSeek大模型,实现智能大纲生成、一键PPT生成、AI文字优化、图像生成等功能。免费试用,提升PPT制作效率,适用于商务演示、教育培训等多种场景。
- 160次使用
-
- 稿定PPT
- 告别PPT制作难题!稿定PPT提供海量模板、AI智能生成、在线协作,助您轻松制作专业演示文稿。职场办公、教育学习、企业服务全覆盖,降本增效,释放创意!
- 143次使用
-
- Suno苏诺中文版
- 探索Suno苏诺中文版,一款颠覆传统音乐创作的AI平台。无需专业技能,轻松创作个性化音乐。智能词曲生成、风格迁移、海量音效,释放您的音乐灵感!
- 171次使用
-
- Golangmap实践及实现原理解析
- 2022-12-28 505浏览
-
- 试了下Golang实现try catch的方法
- 2022-12-27 502浏览
-
- Go语言中Slice常见陷阱与避免方法详解
- 2023-02-25 501浏览
-
- Golang中for循环遍历避坑指南
- 2023-05-12 501浏览
-
- Go语言中的RPC框架原理与应用
- 2023-06-01 501浏览