编程并不是一个机械性的工作，而是需要有思考，有创新的工作，语法是固定的，但解决问题的思路则是依靠人的思维，这就需要我们坚持学习和更新自己的知识。今天golang学习网就整理分享《go-sql-driver：当 wait_timeout 默认为 8h 时，获取无效连接》，文章讲解的知识点主要包括，如果你对Golang方面的知识点感兴趣，就不要错过golang学习网，在这可以对大家的知识积累有所帮助，助力开发能力的提升。

一句话

当 maxopenconns 充足且 wait_timeout 为 8 小时时出现 mysql invalid connection 问题。

详细

我有一个脚本，打算从表 a 中读取所有记录，进行一些转换，然后将结果记录写入表 b。代码的工作方式如下：

• 一个 goroutine 扫描表 a，将记录放入通道中；
• 其他四个 goroutine（数量可配置）同时从上述通道进行消费，累积 50 行（批量大小可配置）插入表 b，然后累积另外 50 行，依此类推。
• scanner goroutine 持有一个 *sql.db，inserter goroutine 共享另一个 *sql.db
• go-sql-driver：版本 1.4.1 (2018-11-14) 或版本 1.5 (2020-01-07)

（1.4.1 遇到的问题，可重现的演示，见下文，使用 1.5）

• go 版本：go1.13.15 darwin/amd64

invalid connection 问题几乎可以稳定重现。

在特定的运行案例中，表a有67227条记录，通道大小设置为100000，表a扫描器（1个goroutine）每次读取1000个，表b插入器（4个goroutine）写入50。最终b表中有67127条记录（2*50丢失），控制台输出2行错误：

[mysql] 2020/12/11 21:54:18 packets.go:36: read tcp x.x.x.x:64062->x.x.x.x:3306: read: operation timed out
[mysql] 2020/12/11 21:54:21 packets.go:36: read tcp x.x.x.x:64070->x.x.x.x:3306: read: operation timed out

（我重现时错误行数有所不同，通常是1、2或3。n错误行与n*50记录插入表b失败一致。）

从我的日志文件中，它打印 invalid connection:

2020/12/11 21:54:18 main.go:135: [goroutine 56] batchexecute: batchinsertplace(): sqldb.execcontext(): invalid connection
stats={maxopenconnections:0 openconnections:4 inuse:3 idle:1 waitcount:0 waitduration:0s maxidleclosed:14 maxlifetimeclosed:0}
2020/12/11 21:54:21 main.go:135: [goroutine 55] batchexecute: batchinsertplace(): sqldb.execcontext(): invalid connection
stats={maxopenconnections:0 openconnections:4 inuse:3 idle:1 waitcount:0 waitduration:0s maxidleclosed:14 maxlifetimeclosed:0}

试验和观察

1. 通过在日志中打印每个成功/失败的写入操作以及 goroutine id，看来当所有 4 个插入 goroutine 中的任何 1 个在 2 个连续写入之间的间隔超过约 45 秒时，总会发生错误。我认为在将 50 条记录插入表 b 之前，只需要这么长时间就可以了。

2. 相比之下，当我碰巧进行更改以使 4 个插入 goroutine 平均写入一些（即没有人的写入间隔比其他人长得多）时，就没有看到错误。重复3次。

3. 看起来一个错误只影响一批写入操作，后续批次工作正常。那么为什么不重试出错的批次呢？我想重试一次就会成功。不过，我不介意继续重试直到成功：

var retryExecTillSucc = func(goroutineId int, records []*MyDto) {
   err := inserter.BatchInsert(records)
   for { // retry until success. This is a workaround for 'invalid connection' issue
      if err == nil { break }
      logger.Printf("[goroutine %v] BatchExecute: %v \nStats=%+v\n", goroutineId, err, inserter.RdsClient.SqlDb.Stats())
      err = inserter.retryBatchInsert(records)
   }
   logger.Printf("[goroutine %v] BatchExecute: Success \nStats=%+v\n", goroutineId, inserter.RdsClient.SqlDb.Stats())
}

令人惊讶的是，通过此更改，错误批次的重试不断出现错误并且永远不会成功......

摘要

很明显，当错误发生时，一个（空闲）连接被破坏，但我的问题是：

• mysql wait_timeout 设置为 8h，为什么连接超时这么快？
• 由于未设置 maxopenconns，因此它不应该成为限制，特别是考虑到日志中只有 4 个 openconnections。
• 还需要检查哪些潜在根本原因？

（太长了，只是希望说清楚并得到一些建议~）

更新

最小的、可重现的示例，包括：

• 代码
• 一个示例日志文件
• mysql 错误日志

解决方案

你不使用Context吗？我认为读取超时是由上下文超时或 readTimeout 参数引起的。

MySQL不提供安全高效的取消机制。当上下文被取消或达到 readTimeout 时，DB.ExecContext 返回而不终止使用连接。下次使用连接时会导致“无效连接”。

如果要限制长查询的执行时间，可以使用 MAX_EXECUTION_TIME 提示而不是上下文。 参考https://dev.mysql.com/doc/refman/5.7/en/optimizer-hints.html#optimizer-hints-execution-time。

以上就是《go-sql-driver：当 wait_timeout 默认为 8h 时，获取无效连接》的详细内容，更多关于的资料请关注golang学习网公众号！