我如何等待多个其他 Goroutine 上的单个 Goroutine 响应?
最近发现不少小伙伴都对Golang很感兴趣,所以今天继续给大家介绍Golang相关的知识,本文《我如何等待多个其他 Goroutine 上的单个 Goroutine 响应?》主要内容涉及到等等知识点,希望能帮到你!当然如果阅读本文时存在不同想法,可以在评论中表达,但是请勿使用过激的措辞~
大家好,我从 Python3 过渡到 Go,所以我尝试重写我创建的库以获得更好的性能。
我面临着一个问题,因为我是 Golang XD 中的菜鸟,我使用有限的 API 来下载数百个 json,并且我希望尽可能使用更少的请求。 因此,在下载这些 json 时,使用的一些 URL 是重复的,我的第一个想法是在我的下载函数( goroutine )和每个 goroutine 之间传递一个 map[stringLink]*myJsonReceived ,然后在下载之前检查链接是否已被另一个 goroutine 处理,因此与其再次请求并浪费带宽+ API 调用,不如等待其他 goroutine 完成下载并从字典中获取它。
我有几个选择:
1) goroutine 必须检查链接是否在地图内(如果是),它每隔 0.05 秒检查字典内的指针是否仍然为 nil 或者包含 json。 (可能是最糟糕的方法,但它有效)
2)将 Goroutines 之间传递的映射更改为 (map[stringlink]chan myjson) 这可能是最有效的方法,但我不知道如何将单个消息发送到通道并由多个等待的 Goroutine 接收它。 p>
3) 我可以通过向结构体添加一个计数器来使用选项 (2),每次 goroutine 发现该 url 已被请求时,它只需向计数器添加 +1 并等待来自通道的响应,当下载 goroutine 完成后会向通道发送 X 条消息。但这种方式会让我在地图上添加太多的锁,这会浪费性能。
注意:我需要在所有函数执行结束时使用地图将下载的 Json 保存到我的数据库中,以免再次下载它们。
预先感谢大家的帮助。
解决方案
我想要解决你的任务是我会使用 goroutine 池来解决这个问题。会有一个生产者在通道上发送 URL,并且工作协程将在该通道上接收 URL 来处理(获取)。一旦 URL“完成”,同一个工作 Goroutine 也可以将其保存到数据库中,或者将结果传递到“收集器”goroutine 的结果通道上,如果需要,该 Goroutine 可以按顺序完成保存。
这种构造设计可确保通道上发送的每个 URL 仅由一个工作 goroutine 接收,因此您不需要任何其他同步(在使用共享地图的情况下需要同步)。更多频道信息请参见What are golang channels used for?
相对于共享变量,Go 更倾向于 goroutine(通道)之间的通信。引用自Effective Go: Share by communicating:
不要通过共享内存进行通信;相反,通过通信来共享内存。
有关如何创建工作池的示例,请参阅 Is this an idiomatic worker thread pool in Go?
以上就是本文的全部内容了,是否有顺利帮助你解决问题?若是能给你带来学习上的帮助,请大家多多支持golang学习网!更多关于Golang的相关知识,也可关注golang学习网公众号。
再谈复现 Sora:被仰望与被遗忘的
- 上一篇
- 再谈复现 Sora:被仰望与被遗忘的
- 下一篇
- Java集合框架中迭代器的使用和性能优化
-
- Golang · Go问答 | 8分钟前 | Go问答 · 数据导入 · csv Go Reader encoding/csv FieldsPerRecord ErrFieldCount
- Go encoding/csv 字段数量变化时怎么读取完整记录
- 230浏览 收藏
-
- Golang · Go问答 | 9分钟前 |
- Go io.Pipe 消费端退出后生产端阻塞怎么办
- 185浏览 收藏
-
- Golang · Go问答 | 10分钟前 |
- Go io.Copy 传输大文件时内存异常增长怎么办
- 471浏览 收藏
-
- Golang · Go问答 | 16分钟前 |
- Go io.LimitedReader 读完限制字节后怎么区分真正 EOF
- 337浏览 收藏
-
- Golang · Go问答 | 37分钟前 |
- Go strings.Replacer 怎样一次替换多组固定文本
- 122浏览 收藏
-
- Golang · Go问答 | 41分钟前 |
- Go 解码无填充 Base64 失败怎么办
- 366浏览 收藏
-
- Golang · Go问答 | 45分钟前 |
- Go 判断 JSON 合法却仍解码失败怎么办
- 199浏览 收藏
-
- Golang · Go问答 | 47分钟前 |
- Go database/sql PingContext 探活超时的错误分层与连接池处理
- 283浏览 收藏
-
- Golang · Go问答 | 48分钟前 | go · DNS · Go net.Resolver PreferGo Resolver.Dial 自定义 DNS HTTP Transport
- Go 自定义 DNS Resolver 仍访问默认服务器怎么办
- 275浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go 监听 socket 选项不生效怎么办
- 242浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 505次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 564次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 590次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 544次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 357次使用
-
- 用Nginx反向代理部署go写的网站。
- 2023-01-17 502浏览
-
- GoLand调式动态执行代码
- 2023-01-13 502浏览
-
- Go crypto/rand.Text 的长度为什么不是固定字符数
- 2026-10-04 501浏览
-
- Go strings.ToValidUTF8 清洗日志内容的边界
- 2026-10-03 501浏览
-
- Go tls.GetCertificate 为什么收不到空 ServerName 请求
- 2026-09-27 501浏览
