Go 与 SQL 连接池协同工作的探究

哈喽！大家好，很高兴又见面了，我是golang学习网的一名作者，今天由我给大家带来一篇《Go 与 SQL 连接池协同工作的探究》，本文主要会讲到等等知识点，希望大家一起学习进步，也欢迎大家关注、点赞、收藏、转发! 下面就一起来看看吧！

我有一个高负载的rabbit mq队列，它可能有多达数百万条消息。 mq 代理从队列中读取消息并将其写入 ms sql db。我尝试使用 goroutine 并发编写非阻塞：

for m := range msgs {
//......
     se := &sqlEntity{
          body:      string(m.Body),
          cnt:       m.MessageCount,
          timeStamp: fmt.Sprintf("%v", m.Timestamp.Format("2006-01-02 15:04:05")),
          uuid:      u,
     }
     go func(se *sqlEntity) {
          writeSQL(se)
     }(se)
//.........

}
func writeSQL(se *sqlEntity) {
     result, err := db.Exec(cmd, args...)
//.......
}

因此，写入函数不会阻止从 mq 读取。但如果消息太多，写入过程会耗尽 ms sql server 上的所有现有连接。因此，我尝试设置池，显式设置连接数 - (db.setmaxopenconns)。我确信 database/sql 驱动程序将管理连接，但事实并非如此。如果连接（例如让 setmaxopenconns = 256）耗尽，writesql() 调用不会等待池中的空闲连接，result, err := db.exec(cmd, args.. .) 在这种情况下，它内部只是返回连接错误。 那么，如何设计我的应用程序以并发调用 writesql()，但严格在池限制内？现在，如果池耗尽，我就会丢失数据。或者如果没有池限制，数据库会过载。

正确答案

您可以做的一件事是使用大小等于池中最大连接数的缓冲通道来控制 writesql 函数的并发性。

每次调用 writesql 时，都会向通道发送一条消息。 在执行 db.exec 语句之前，它会等待从通道接收一条消息，该消息表明池中有可用的空闲连接。

这种方式应该允许您处理并发 writesql 函数的数量，并确保它永远不会超过池中的最大连接数。 当池耗尽时，您不会丢失任何数据。

使用您提供的代码，它应该如下所示：

connPool := make(chan struct{}, maxOpenConns) // create a buffered channel with a size equal to the maximum number of connections in the pool

for m := range msgs {
    // ...
    se := &sqlEntity{
        body:      string(m.Body),
        cnt:       m.MessageCount,
        timeStamp: fmt.Sprintf("%v", m.Timestamp.Format("2006-01-02 15:04:05")),
        uuid:      u,
    }
    go func(se *sqlEntity) {
        writeSQL(se)
    }(se)
    // ...
}

func writeSQL(se *sqlEntity) {
    connPool <- struct{}{} // wait for a free connection in the pool
    defer func() {
        <-connPool // release the connection after writeSQL is done
    }()
    result, err := db.Exec(cmd, args...)
    // handle error and return
}

今天关于《Go 与 SQL 连接池协同工作的探究》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！