如何同步慢速计算并缓存它?
来源:stackoverflow
2024-04-19 13:18:33
0浏览
收藏
今天golang学习网给大家带来了《如何同步慢速计算并缓存它?》,其中涉及到的知识点包括等等,无论你是小白还是老手,都适合看一看哦~有好的建议也欢迎大家在评论留言,若是看完有所收获,也希望大家能多多点赞支持呀!一起加油学习~
问题内容
在 golang 后端中,我想为多个客户端提供一个值,我们称之为分数。分数随时间变化,其计算速度较慢。计算不依赖于先前的结果。当没有客户时我根本不想计算它。因此,计算应该仅根据请求进行。但还有一个事实——分数在 5 秒内不能改变。所以我尝试了不同的方法,但一切都有其缺点:
- 在没有客户的情况下进行昂贵的计算:
var score interface{} // run in a separate goroutine func calculatescoreperiodically() { for{ select{ case <-time.after(5*time.second): score = calculatescoreexpensiveandslow() } } } func servescore(w http.responsewriter, r* http.request) { b, _ := json.marshal(score) w.write(b) }
- 在很长的计算时间内阻止所有客户端(但实际上可能只是向他们提供旧数据)。并且您不能将
if
移出互斥体,因为这样多个客户端可能会同时进入计算块,并且不会在 5 秒间隔内进行计算,而是按顺序进行计算:
var ( score interface{} mutex sync.Mutex updatedAt time.Time ) func getCachedScore() float64 { mutex.Lock() defer mutex.Unlock() currentTime := time.Now() if currentTime.Sub(updatedAt) < 5*time.Second { return score } updatedAt = currentTime score = calculateScoreExpensiveAndSlow() return score } func serveScore(w http.ResponseWriter, r* http.Request) { b, _ := json.Marshal(getCachedScore()) w.Write(b) }
如何解决以上两个缺点?
ps。我认为这是一个普遍问题,也是一个模式 - 它有一个特殊的名称吗?正确答案
可能有多种解决方案。一个简单的解决方案是指定一个 goroutine 进行计算,您可以通过在通道上发送值来向其发出需要重新计算的信号。发送可能是非阻塞的,因此如果正在进行计算,则不会发生任何事情。
这是一个可重用的缓存实现:
type cache struct { mu sync.rwmutex value interface{} updated time.time calcch chan struct{} expiration time.duration } func newcache(calc func() interface{}, expiration time.duration) *cache { c := &cache{ value: calc(), updated: time.now(), calcch: make(chan struct{}), } go func() { for range c.calcch { v := calc() c.mu.lock() c.value, c.updated = v, time.now() c.mu.unlock() } }() return c } func (c *cache) get() (value interface{}, updated time.time) { c.mu.rlock() value, updated = c.value, c.updated c.mu.runlock() if time.since(updated) > c.expiration { // trigger a new calculation (will happen in another goroutine). // do non-blocking send, if a calculation is in progress, // this will have no effect select { case c.calcch <- struct{}{}: default: } } return } func (c *cache) stop() { close(c.calcch) }
注意:cache.stop()
是停止后台goroutine。调用cache.stop()
后,不得再调用cache.get()
。
将其用于您的案例:
func getcachedscore() interface{} { // ... } var scorecache = newcache(getcachedscore, 5*time.second) func servescore(w http.responsewriter, r* http.request) { score, _ := scorecache.get() b, _ := json.marshal(score) w.write(b) }
这是我实现的,与 icza 的答案相关,但还有更多功能:
package common import ( "context" "sync/atomic" "time" ) type ( CachedUpdater func() interface{} ChanStruct chan struct{} ) type Cached struct { value atomic.Value // holds the cached value's interface{} updatedAt atomic.Value // holds time.Time, time when last update sequence was started at updatePeriod time.Duration // controls minimal anount of time between updates needUpdate ChanStruct } //cachedUpdater is a user-provided function with long expensive calculation, that gets current state func MakeCached(ctx context.Context, updatePeriod time.Duration, cachedUpdater CachedUpdater) *Cached { v := &Cached{ updatePeriod: updatePeriod, needUpdate: make(ChanStruct), } //v.updatedAt.Store(time.Time{}) // "was never updated", but time should never be nil interface v.doUpdate(time.Now(), cachedUpdater) go v.updaterController(ctx, cachedUpdater) return v } //client will get cached value immediately, and optionally may trigger an update, if value is outdated func (v *Cached) Get() interface{} { if v.IsExpired(time.Now()) { v.RequestUpdate() } return v.value.Load() } //updateController goroutine can be terminated both by cancelling context, provided to maker, or by closing chan func (v *Cached) Stop() { close(v.needUpdate) } //returns true if value is outdated and updater function was likely not called yet func (v *Cached) IsExpired(currentTime time.Time) bool { updatedAt := v.updatedAt.Load().(time.Time) return currentTime.Sub(updatedAt) > v.updatePeriod } //requests updaterController to perform update, using non-blocking send to unbuffered chan. controller can decide not to update in case if it has recently updated value func (v *Cached) RequestUpdate() bool { select { case v.needUpdate <- struct{}{}: return true default: return false } } func (v *Cached) updaterController(ctx context.Context, cachedUpdater CachedUpdater) { for { select { case <-ctx.Done(): return case _, ok := <-v.needUpdate: if !ok { return } currentTime := time.Now() if !v.IsExpired(currentTime) { continue } v.doUpdate(currentTime, cachedUpdater) } } } func (v *Cached) doUpdate(currentTime time.Time, cachedUpdater CachedUpdater) { v.updatedAt.Store(currentTime) v.value.Store(cachedUpdater()) }
今天关于《如何同步慢速计算并缓存它?》的内容介绍就到此结束,如果有什么疑问或者建议,可以在golang学习网公众号下多多回复交流;文中若有不正之处,也希望回复留言以告知!
版本声明
本文转载于:stackoverflow 如有侵犯,请联系study_golang@163.com删除

- 上一篇
- 华为发布创新OLT平台MA5800T,领航万兆时代光接入网络

- 下一篇
- Powershell 脚本独立运行,但作为可执行文件运行时出现“方法调用失败”错误
查看更多
最新文章
-
- Golang · Go问答 | 1年前 |
- 在读取缓冲通道中的内容之前退出
- 139浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 戈兰岛的全球 GOPRIVATE 设置
- 204浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 如何将结构作为参数传递给 xml-rpc
- 325浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 如何用golang获得小数点以下两位长度?
- 478浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 如何通过 client-go 和 golang 检索 Kubernetes 指标
- 486浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 将多个“参数”映射到单个可变参数的习惯用法
- 439浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 将 HTTP 响应正文写入文件后出现 EOF 错误
- 357浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 结构中映射的匿名列表的“复合文字中缺少类型”
- 352浏览 收藏
-
- Golang · Go问答 | 1年前 |
- NATS Jetstream 的性能
- 101浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 如何将复杂的字符串输入转换为mapstring?
- 440浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 相当于GoLang中Java将Object作为方法参数传递
- 212浏览 收藏
-
- Golang · Go问答 | 1年前 |
- 如何确保所有 goroutine 在没有 time.Sleep 的情况下终止?
- 143浏览 收藏
查看更多
课程推荐
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 542次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 511次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 498次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 484次学习
查看更多
AI推荐
-
- 千音漫语
- 千音漫语,北京熠声科技倾力打造的智能声音创作助手,提供AI配音、音视频翻译、语音识别、声音克隆等强大功能,助力有声书制作、视频创作、教育培训等领域,官网:https://qianyin123.com
- 225次使用
-
- MiniWork
- MiniWork是一款智能高效的AI工具平台,专为提升工作与学习效率而设计。整合文本处理、图像生成、营销策划及运营管理等多元AI工具,提供精准智能解决方案,让复杂工作简单高效。
- 222次使用
-
- NoCode
- NoCode (nocode.cn)是领先的无代码开发平台,通过拖放、AI对话等简单操作,助您快速创建各类应用、网站与管理系统。无需编程知识,轻松实现个人生活、商业经营、企业管理多场景需求,大幅降低开发门槛,高效低成本。
- 220次使用
-
- 达医智影
- 达医智影,阿里巴巴达摩院医疗AI创新力作。全球率先利用平扫CT实现“一扫多筛”,仅一次CT扫描即可高效识别多种癌症、急症及慢病,为疾病早期发现提供智能、精准的AI影像早筛解决方案。
- 225次使用
-
- 智慧芽Eureka
- 智慧芽Eureka,专为技术创新打造的AI Agent平台。深度理解专利、研发、生物医药、材料、科创等复杂场景,通过专家级AI Agent精准执行任务,智能化工作流解放70%生产力,让您专注核心创新。
- 245次使用
查看更多
相关文章
-
- GoLand调式动态执行代码
- 2023-01-13 502浏览
-
- 用Nginx反向代理部署go写的网站。
- 2023-01-17 502浏览
-
- Golang取得代码运行时间的问题
- 2023-02-24 501浏览
-
- 请问 go 代码如何实现在代码改动后不需要Ctrl+c,然后重新 go run *.go 文件?
- 2023-01-08 501浏览
-
- 如何从同一个 io.Reader 读取多次
- 2023-04-11 501浏览