当前位置：首页 > 文章列表 > Golang > Go问答 > go-sql-driver：当 wait_timeout 默认为 8h 时，获取无效连接

go-sql-driver：当 wait_timeout 默认为 8h 时，获取无效连接

来源：stackoverflow 2024-02-27 10:27:27 0浏览收藏

编程并不是一个机械性的工作，而是需要有思考，有创新的工作，语法是固定的，但解决问题的思路则是依靠人的思维，这就需要我们坚持学习和更新自己的知识。今天golang学习网就整理分享《go-sql-driver：当 wait_timeout 默认为 8h 时，获取无效连接》，文章讲解的知识点主要包括，如果你对Golang方面的知识点感兴趣，就不要错过golang学习网，在这可以对大家的知识积累有所帮助，助力开发能力的提升。

问题内容

一句话

当 maxopenconns 充足且 wait_timeout 为 8 小时时出现 mysql invalid connection 问题。

详细

我有一个脚本，打算从表 a 中读取所有记录，进行一些转换，然后将结果记录写入表 b。代码的工作方式如下：

一个 goroutine 扫描表 a，将记录放入通道中；
其他四个 goroutine（数量可配置）同时从上述通道进行消费，累积 50 行（批量大小可配置）插入表 b，然后累积另外 50 行，依此类推。
scanner goroutine 持有一个 *sql.db，inserter goroutine 共享另一个 *sql.db
go-sql-driver：版本 1.4.1 (2018-11-14) 或版本 1.5 (2020-01-07)

（1.4.1 遇到的问题，可重现的演示，见下文，使用 1.5）

go 版本：go1.13.15 darwin/amd64

invalid connection 问题几乎可以稳定重现。

在特定的运行案例中，表a有67227条记录，通道大小设置为100000，表a扫描器（1个goroutine）每次读取1000个，表b插入器（4个goroutine）写入50。最终b表中有67127条记录（2*50丢失），控制台输出2行错误：

[mysql] 2020/12/11 21:54:18 packets.go:36: read tcp x.x.x.x:64062->x.x.x.x:3306: read: operation timed out
[mysql] 2020/12/11 21:54:21 packets.go:36: read tcp x.x.x.x:64070->x.x.x.x:3306: read: operation timed out

（我重现时错误行数有所不同，通常是1、2或3。n错误行与n*50记录插入表b失败一致。）

从我的日志文件中，它打印 invalid connection:

2020/12/11 21:54:18 main.go:135: [goroutine 56] batchexecute: batchinsertplace(): sqldb.execcontext(): invalid connection
stats={maxopenconnections:0 openconnections:4 inuse:3 idle:1 waitcount:0 waitduration:0s maxidleclosed:14 maxlifetimeclosed:0}
2020/12/11 21:54:21 main.go:135: [goroutine 55] batchexecute: batchinsertplace(): sqldb.execcontext(): invalid connection
stats={maxopenconnections:0 openconnections:4 inuse:3 idle:1 waitcount:0 waitduration:0s maxidleclosed:14 maxlifetimeclosed:0}

试验和观察

通过在日志中打印每个成功/失败的写入操作以及 goroutine id，看来当所有 4 个插入 goroutine 中的任何 1 个在 2 个连续写入之间的间隔超过约 45 秒时，总会发生错误。我认为在将 50 条记录插入表 b 之前，只需要这么长时间就可以了。
相比之下，当我碰巧进行更改以使 4 个插入 goroutine 平均写入一些（即没有人的写入间隔比其他人长得多）时，就没有看到错误。重复3次。
看起来一个错误只影响一批写入操作，后续批次工作正常。那么为什么不重试出错的批次呢？我想重试一次就会成功。不过，我不介意继续重试直到成功：

var retryExecTillSucc = func(goroutineId int, records []*MyDto) {
   err := inserter.BatchInsert(records)
   for { // retry until success. This is a workaround for 'invalid connection' issue
      if err == nil { break }
      logger.Printf("[goroutine %v] BatchExecute: %v \nStats=%+v\n", goroutineId, err, inserter.RdsClient.SqlDb.Stats())
      err = inserter.retryBatchInsert(records)
   }
   logger.Printf("[goroutine %v] BatchExecute: Success \nStats=%+v\n", goroutineId, inserter.RdsClient.SqlDb.Stats())
}

令人惊讶的是，通过此更改，错误批次的重试不断出现错误并且永远不会成功......