for 循环中数据库连接导致的内存泄漏问题

哈喽！今天心血来潮给大家带来了《for 循环中数据库连接导致的内存泄漏问题》，想必大家应该对Golang都不陌生吧，那么阅读本文就都不会很困难，以下内容主要涉及到，若是你正在学习Golang，千万别错过这篇文章~希望能帮助到你！

我正在尝试在无限 for 循环中连续查询 postgres 数据库。但是，查询似乎没有关闭，垃圾收集器可能无法工作，并且我面临内存分配问题。

脚本设计如下：

在 func main() 中，我声明了一个全局数据库连接。然后执行 func checkcross(...) ，其中包含 for 循环，每次迭代都会执行 func importprices(...) ，然后从数据库导入行。

import (
    "database/sql"
    _"github.com/lib/pq"
    "runtime"
    )


var db *sql.db

func main() {
    var err error

    psqlinfo := fmt.sprintf("host=%s port=%d user=%s "+" dbname=%s password=%s ", host, port, user, dbname, password)

    //connection
    db, err = sql.open("postgres", psqlinfo)
    if err != nil {
        log.fatal(err)
    }
    defer db.close()

    checkcross("eur_usd")

    ...

func checkcross(...)

   func checkcross(instrument string) {

    for i := 1; i < 4; i++ {
            rawdata, _ := importprices(instrument)

            var mem runtime.memstats
            runtime.readmemstats(&mem)
            fmt.printf("alloc [%v] \t heapalloc [%v] \n", mem.alloc, mem.heapalloc)

            ...

        }

func importprices(...)

func importprices(instrument string) ([]float64, []time.time) {

    var price_ float64
    var date_ time.time

    price := make([]float64, 10000000)
    date := make([]time.time, 10000000)

    querycommand := fmt.sprintf("select * from table where instrument = '%[1]v' order by 1 asc;", instrument)

    rows, err := db.query(querycommand)
    if err != nil {
        log.fatal(err)
    }


    //scan from db
    z := 0
    for rows.next() {
        err := rows.scan(&date_, &price_)
        if err != nil {
            log.fatal(err)
        }
        price[z] = price_

        date[z] = date_

        z+=1
    }

    price = price[:z] 
    date = date[:z] 


    if err := rows.err(); err != nil {
        log.fatal(err)
    }

    rows.close()
    return price, date

输出

alloc [321664064]        heapAlloc [321664064] 
alloc [641723264]        heapAlloc [641723264] 
alloc [961781984]        heapAlloc [961781984]

您能否指导我的代码或方法中的问题出在哪里？ 我读过一些文章，他们建议在 for 循环中使用 rows.close() 而不是 defer rows.close() 但此解决方案不起作用。

解决方案

每次调用 importPrices 时，您都会分配两个 10M 元素的切片（float64 为 8 个字节，time.Time 更大）。

当然，这些切片中的大多数最终都会变成垃圾（据说，您用从 importPrices 返回的这两个切片覆盖了一些变量），但是这些垃圾自然会浮动，直到为您的程序提供支持的 Go 运行时决定收集它。在此之前，内存消耗将会增加。

了解该语言的两种“标准”实现（您应该使用其中一种）具有扫描 GC 功能（与主程序流并行工作）是至关重要的。换句话说，当程序丢失对已分配内存块的最后一个实时引用时，在那一刻，该块占用的内存什么也不会发生，它必须等到 GC找到它然后收集。这种情况发生的确切时间大多是无法预测的。 Go 采用复杂的动态算法来调整 GC 的速度，从而在收集垃圾所花费的 CPU 周期数量与内存消耗增长之间取得一定的平衡。

对于当前的问题，通常的方法是简单地重用迭代之间分配的内存。 也就是说，在调用 importPrices 之前预先分配切片， 将它们传递到那里，然后将它们重置为零长度，然后再次传递它们。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《for 循环中数据库连接导致的内存泄漏问题》文章吧，也可关注golang学习网公众号了解相关技术文章。