如何在 Go 中为行插入重用单个 Postgres DB 连接?
一分耕耘,一分收获!既然打开了这篇文章《如何在 Go 中为行插入重用单个 Postgres DB 连接?》,就坚持看下去吧!文中内容包含golang等等知识点...希望你能在阅读本文后,能真真实实学到知识或者帮你解决心中的疑惑,也欢迎大佬或者新人朋友们多留言评论,多给建议!谢谢!
问题内容
我正在尝试使用 Go 为从 rabbitmq 接收到的每条新消息插入一行数据到 Postgres 表中,使用到在下面代码的 init 函数中打开的 DB 的单个连接。
代码不是只打开一个连接,而是打开 497 并最大化导致行插入停止......
我已经尝试使用这些问题中的信息[在 Go 应用程序中打开和关闭数据库连接](https://stackoverflow.com/questions/40587008/how-do-i-handle- opening-closing-db-connection-in-a-go- app/40587071#40587071)并[在一个函数](https://stackoverflow.com/questions/42581697/referring- to-an-open-database-connection-inside-a-function- golang)中打开数据库连接,该函数说我应该打开一个连接并使用全局数据库来允许主函数将 sql 语句传递给打开的连接初始化函数。
我以为我已经这样做了,但是正在为每个新行打开一个新连接,因此一旦达到 postgres 连接限制,代码就会停止工作......
我是 Go 新手,编程经验有限,过去两天我一直在尝试理解/解决这个问题,我真的可以通过一些帮助来理解我在哪里出错了......
var db *sql.DB
func init() {
var err error
db, err = sql.Open ( "postgres", "postgres://postgres:postgres@SERVER/PORT/DB")
if err != nil {
log.Fatal("Invalid DB config:", err)
}
if err = db.Ping(); err != nil {
log.Fatal("DB unreachable:", err)
}
}
func main() {
// RABBITMQ CONNECTION CODE IS HERE
// EACH MESSAGE RECEIVED IS SPLIT TO LEGEND, STATUS, TIMESTAMP VARIABLES
// VARIABLES ARE PASSED TO sqlSatement
sqlStatement := `
INSERT INTO heartbeat ("Legend", "Status", "TimeStamp")
VALUES ($1, $2, $3)
`
// sqlStatement IS THEN PASSED TO db.QueryRow
db.QueryRow(sqlStatement, Legend, Status, TimeStamp)
}
}()
完整代码如下所示:
package main
import (
"database/sql"
"log"
_ "github.com/lib/pq"
"github.com/streadway/amqp"
"strings"
)
var db *sql.DB
func failOnError(err error, msg string) {
if err != nil {
log.Fatalf("%s: %s", msg, err)
}
}
func init() {
var err error
db, err = sql.Open ( "postgres", "postgres://postgres:postgres@192.168.1.69:5432/test?sslmode=disable")
if err != nil {
log.Fatal("Invalid DB config:", err)
}
if err = db.Ping(); err != nil {
log.Fatal("DB unreachable:", err)
}
}
func main() {
conn, err := amqp.Dial("amqp://Admin:Admin@192.168.1.69:50003/")
failOnError(err, "Failed to connect to RabbitMQ")
defer conn.Close()
ch, err := conn.Channel()
failOnError(err, "Failed to open a channel")
defer ch.Close()
q, err := ch.QueueDeclare(
"HEARTBEAT", // name
false, // durable
false, // delete when unused
false, // exclusive
false, // no-wait
nil, // arguments
)
failOnError(err, "Failed to declare a queue")
msgs, err := ch.Consume(
q.Name, // queue
"", // consumer
false, // auto-ack
false, // exclusive
false, // no-local
false, // no-wait
nil, // args
)
failOnError(err, "Failed to register a consumer")
forever := make(chan bool)
go func() {
for d := range msgs {
myString := string(d.Body[:])
result := strings.Split(myString, ",")
Legend := result[0]
Status := result[1]
TimeStamp := result[2]
sqlStatement := `
INSERT INTO heartbeat ("Legend", "Status", "TimeStamp")
VALUES ($1, $2, $3)
`
//
db.QueryRow(sqlStatement, Legend, Status, TimeStamp)
}
}()
正确答案
首先,*sql.DB不是一个连接,而是一个连接池,它将打开尽可能多的连接,只要它需要和 postgres
服务器允许的数量。只有当池中没有空闲连接可供使用时,它才会打开新连接。
所以问题是DB打开的连接没有被释放,为什么?因为您在使用QueryRow时没有调用Scan返回*Row值。
在底层*Row拥有一个*Rows实例,该实例可以访问自己的连接,并且该连接在Scan被调用时会自动释放。如果Scan未调用,则不会释放连接,这会导致DB池在下一次调用
时打开新连接QueryRow。因此,由于您没有释放任何连接,因此DB会不断打开新连接,直到达到 postgres
设置指定的限制,然后下一次调用QueryRow挂起,因为它等待连接变为空闲。
因此,Exec如果您不关心输出,则需要使用,或者需要调用Scan返回的*Row.
好了,本文到此结束,带大家了解了《如何在 Go 中为行插入重用单个 Postgres DB 连接?》,希望本文对你有所帮助!关注golang学习网公众号,给大家分享更多Golang知识!
防止 Ctrl+C 中断 Golang 中的 exec.Command
- 上一篇
- 防止 Ctrl+C 中断 Golang 中的 exec.Command
- 下一篇
- 解组可能返回或不返回数组的 JSON?
-
- 虚幻的小伙
- 这篇技术文章太及时了,太详细了,赞 ??,码起来,关注楼主了!希望楼主能多写Golang相关的文章。
- 2023-04-20 20:17:58
-
- Golang · Go问答 | 15分钟前 |
- Go jsonnull 怎么处理JSON 数组
- 266浏览 收藏
-
- Golang · Go问答 | 24分钟前 | 连接池 · HTTP客户端 · Go问答 · Transport · 生命周期管理 · Go HTTP客户端 连接池 http.Transport CloseIdleConnections Transport生命周期
- Go transport 如何限定Transport 生命周期
- 262浏览 收藏
-
- Golang · Go问答 | 38分钟前 | 连接池 · HTTP客户端 · Go问答 · 端口排查 · Transport · TIME_WAIT httptrace http.Transport Go transport Go端口增长 HTTP连接复用 CLOSE_WAIT
- Go transport 出错时怎么查端口增长
- 297浏览 收藏
-
- Golang · Go问答 | 50分钟前 | 性能排查 · HTTP客户端 · Go问答 · 连接复用 · Transport · MaxIdleConnsPerHost Go连接池 Go transport http.Transport连接复用 HTTP keep-alive
- Go transport 怎么处理连接复用
- 268浏览 收藏
-
- Golang · Go问答 | 1小时前 | Context · HTTP客户端 · Go问答 · Transport · 请求超时 · Go请求超时 Go clienttimeout http.Client Timeout Go客户端超时 Transport阶段超时
- Go clienttimeout 如何限定客户端范围
- 338浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go http.Client 超时与 context 超时冲突时怎么判断
- 465浏览 收藏
-
- Golang · Go问答 | 1小时前 | 错误处理 · net/http · HTTP客户端 · Go问答 · 请求超时 · Go clienttimeout http.Client Timeout Go 请求超时 Go url.Error 超时 Go HTTP 客户端时限
- Go clienttimeout 怎么处理请求时限
- 351浏览 收藏
-
- Golang · Go问答 | 1小时前 |
- Go errgroup 如何限定取消范围
- 292浏览 收藏
-
- Golang · Go问答 | 2小时前 |
- Go errgroup 怎么处理并发任务
- 327浏览 收藏
-
- Golang · Go问答 | 2小时前 |
- Go timeafter 如何限定等待范围
- 377浏览 收藏
-
- Golang · Go问答 | 2小时前 | select · time.After · Go问答 · 内存排查 · time.Timer · Go time.After 循环 Go timeafter 出错 Go 定时器增长 Go NewTimer Reset Go select 超时
- Go timeafter 出错时怎么查循环增长
- 222浏览 收藏
-
- Golang · Go问答 | 2小时前 | channel · 定时器 · select · time.After · Go问答 · Go timeafter怎么处理 Go time.After定时器 Go time.After循环 Go定时器读取 Go NewTimer与NewTicker
- Go timeafter 怎么处理定时器
- 451浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 111次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 31次使用
-
- OpenCompass
- OpenCompass是上海AI实验室推出的开源大模型评测平台,提供CompassKit、CompassHub和CompassRank三大核心组件,支持LLM及多模态模型的一站式标准化评估与排行榜查询。
- 48次使用
-
- AGI-Eval
- AGI-Eval是由上海交大等高校联合发布的大模型评测社区,提供公正透明的LLM能力榜单、多领域评测集及Data Studio数据服务,助力AI模型性能评估与NLP科研开发。
- 30次使用
-
- SuperCLUE
- SuperCLUE是权威的中文大语言模型综合评测基准,涵盖语言理解、知识应用、AI Agent智能体及安全性等12项核心能力。通过多轮对话与客观测试,定期发布榜单与技术报告,为模型研发、优化及行业选型提供科学依据。
- 265次使用
-
- GOLANG使用Context管理关联goroutine的方法
- 2022-12-28 193浏览
-
- 聊聊Go中的注释和godoc工具
- 2022-12-29 354浏览
-
- 聊聊Golang语言中的复数类型
- 2023-01-07 418浏览
-
- 浅析Golang中的浮点类型(float32和float64)
- 2022-12-23 161浏览
-
- 聊聊Golang中的整数类型
- 2022-12-24 209浏览

