Go程序内存消耗在Windows Server 2016上持续增加

Go 语言中存在内存泄漏问题，即程序在运行过程中内存消耗不断增加。这是因为 Go 中的垃圾回收机制没有及时释放不再使用的资源。造成内存泄漏的原因之一是未正确关闭数据库连接和文件句柄等资源。解决方法是实现 io.Closer 接口，在不再使用资源时调用其 close() 方法以释放资源。同时，使用 defer 关键字可以确保在函数返回或发生恐慌时自动调用 close() 方法，从而避免资源泄漏。

这是我的 go 代码。我用的是1.13版本 一旦代码开始运行，内存消耗就会不断增加，永远不会减少。我不认为我正在创造新的变量。我仅为所有存储重用全局变量。

我在网上看到go中的gc应该每2分钟启动一次......？

编辑：我正在 windows 任务管理器上监视程序的内存消耗。当程序开始运行时，内存从~5mb开始，每分钟增加0.3~0.5mb。

package main

import (
    "context"
    "database/sql"
    "encoding/csv"
    "fmt"
    "log"
    "os"
    "path/filepath"
    "runtime"
    "runtime/debug"
    "strings"
    "time"

    _ "github.com/denisenkom/go-mssqldb"
)

var path = os.Args[1]
var table = os.Args[4]
var backupPath = os.Args[2]
var location = os.Args[5]

var server = "localhost"
var port = 1433
var user = "###"
var password = "###"
var database = os.Args[3]
var ctx = context.Background()

var insertQuery = "INSERT INTO [" + database + "].[dbo].[" + table + "] ([meter_id],[time_stamp],[r_voltage],[y_voltage],[b_voltage],[ry_voltage],[yb_voltage],[br_voltage],[r_current],[y_current],[b_current],[kva],[kw],[kvar],[power_factor],[freq],[kwh],[run_hr],[updated_date]) VALUES"
var updateStatusQuery = "UPDATE EMS_Location_Status SET active='100',mailed='N',Updated_Date=getdate(),Error_desc='Data is coming from FTPS' where Location_Id ='" + location + "'"
var db *sql.DB

var connString = fmt.Sprintf("server=%s;user id=%s;password=%s;port=%d;database=%s;",
    server, user, password, port, database)

var err error
var files []string
var tempInsertQuery string
var csvFile *os.File
var csvLines [][]string
var i int
var line []string
var point string
var processedFile []string
var fileName string
var iterFile string
var c = 10

func processFile(file string, table string) {
    fmt.Println("Processing file...", file)
    tempInsertQuery = insertQuery + " "
    csvFile, err = os.Open(file)
    if err != nil {
        for err != nil {
            fmt.Println("Encountered error in opening file.. trying again in 10 seconds.")
            time.Sleep(10 * time.Second)
            csvFile, err = os.Open(file)
        }
        fmt.Println(err)
    }

    csvLines, err = csv.NewReader(csvFile).ReadAll()
    if err != nil {
        fmt.Println(err)
    }
    for i, line = range csvLines {
        if i == 0 {
            continue
        } else {
            tempInsertQuery = tempInsertQuery + "("

            for _, point = range line {
                tempInsertQuery = tempInsertQuery + "'" + point + "'" + ","
            }
            tempInsertQuery = tempInsertQuery[0:len(tempInsertQuery)-1] + ", GETDATE()" + "), "
        }
    }
    tempInsertQuery = tempInsertQuery[0 : len(tempInsertQuery)-2]
    // Execute query
    //fmt.Println(tempInsertQuery)
    _, err = db.QueryContext(ctx, tempInsertQuery)
    if err != nil {
        fmt.Println(err)
        return
    }

    _, err = db.QueryContext(ctx, updateStatusQuery)
    if err != nil {
        fmt.Println(err)
        return
    }
    csvFile.Close()
    fmt.Println("Done processing file ", file)
    backupFile(file)
    runtime.GC()
    debug.FreeOSMemory()
}

func backupFile(file string) {
    fmt.Println("Backing up...", file)
    processedFile = strings.Split(file, "\\")
    fileName = processedFile[len(processedFile)-1]
    err = os.Rename(file, backupPath+fileName)
    if err != nil {
        log.Fatal(err)
    }
}

func scanner(scanPath string, table string) {

    err = filepath.Walk(scanPath, func(path string, info os.FileInfo, err error) error {
        if strings.Contains(path, ".csv") {
            files = append(files, path)
        }
        return nil
    })
    if err != nil {
        panic(err)
    }
    for _, iterFile = range files {
        time.Sleep(2 * time.Second)
        processFile(iterFile, table)
    }

    files = files[:0]
}

func main() {
    fmt.Println(connString)
    // Create connection pool
    db, err = sql.Open("sqlserver", connString)
    if err != nil {
        fmt.Println("Error creating connection pool: ", err.Error())
    }
    err = db.PingContext(ctx)
    if err != nil {
        fmt.Println(err.Error())
        return
    }
    fmt.Printf("Connected to server!\n")
    fmt.Printf("Initiating...\n")

    for c > 0 {
        scanner(path, table)
        time.Sleep(1 * time.Second)
    }

    fmt.Println("Quitting..")
}

如有任何帮助，我们将不胜感激！谢谢。

解决方案

go 中的一般概念是实现 io.Closer （具有 clos​​e() 方法），当你有这样一个你不打算再使用的值时，你应该调用它的 clos​​e() 方法，该方法通常释放否则可能不会立即释放或根本不会（永远）释放的资源。

您的 db.querycontext() 调用是 sql.Conn.QueryContext()，它返回一个 *sql.Rows 值，该值具有 clos​​e() 方法。就这么称呼吧。目前您甚至没有存储返回的 sql.rows。

这样做：

var rows *sql.rows
rows, err = db.querycontext(ctx, tempinsertquery)
if err != nil {
    fmt.println(err)
    return
}
if err2 := rows.close(); err2 != nil {
    fmt.println("error closing rows:", err2
}

将此应用于 conn.querycontext() 的所有使用。

只要有意义，请使用 defer 来调用此类 clos​​e() 方法，因此即使您的代码发生恐慌或在“手动”调用之前有 return 语句，它也会被执行。

代码中的此类示例是 csvfile.close()。在此之前还有return，如果其中一个分支被执行，csvfile将不会被关闭。

这样做：

csvFile, err = os.Open(file)
if err != nil {
    for err != nil {
        fmt.Println("Encountered error in opening file.. trying again in 10 seconds.")
        time.Sleep(10 * time.Second)
        csvFile, err = os.Open(file)
    }
    fmt.Println(err)
}
defer func() {
    if err2 := csvFile.Close(); err2 != nil {
        fmt.Println("Error closing csvFile:", err2
    }
}()

好了，本文到此结束，带大家了解了《Go程序内存消耗在Windows Server 2016上持续增加》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多Golang知识！