Go-SQL-Driver 导致 maria-db CPU 利用率非常高

今天golang学习网给大家带来了《Go-SQL-Driver 导致 maria-db CPU 利用率非常高》，其中涉及到的知识点包括等等，无论你是小白还是老手，都适合看一看哦~有好的建议也欢迎大家在评论留言，若是看完有所收获，也希望大家能多多点赞支持呀！一起加油学习~

我有一个用 python flask 编写的 api，用于网站和应用程序的后端，效果很好。最近学习了go，用go重写了整个api。我预计 go 二进制文件的 cpu 和内存利用率会低得多，但 mariadb 现在利用率几乎为 99%。

我尝试限制 github 页面中的最大连接、最大超时、最大空闲时间、最大...等所有选项仍然没有用。我在代码中将连接作为全局变量，并且在每个 db.prepare 和 db.query 之后推迟 result.close() 。我知道 go 比 python 快得多，所以向服务器发出更多请求是有意义的，但它唯一的测试环境应该会导致如此多的 cpu 使用率，关于如何在 golang 中处理 mariadb 有什么建议吗？

仅供参考：原始站点从 2015 年开始运行，它至少有超过一百万行数据，我可以使用 gorm 重新创建数据库并再次插入数据，但我真的只想使用纯 sql（没有 orm，谢谢） .

func getfulldate(c *fiber.Ctx) error {

    pid := c.FormValue("pid")

    result, err := db.Prepare("select concat(p.firstName, ' ', p.middle, ' ', p.lastName, ' ', p.forthName) as fullname,gender,bID,married,barcode,comment,address,if(p2.phone is null, 0, p2.phone)  as phone,rName,occupation,weight,height,cast(Birthdate as date) as Birthdate from profile p left join (select phID, pID, phone from phonefix group by pID) p2 on p.pID = p2.pID left join (select pID, weight, height from bmifix group by pID) B on p.pID = B.pID, religion r where r.rgID = p.rgID and p.pID = ? ")
    defer result.Close()
    if err != nil {
        return c.JSON(fiber.Map{"access_token": "wrong"})

    }

    rows, err := result.Query(pid)
    defer rows.Close()
    if err != nil {
        return c.JSON(fiber.Map{"access_token": "wrong"})

    }
    columns, err := rows.Columns()
    if err != nil {
        return err
    }
    count := len(columns)
    tableData := make([]map[string]interface{}, 0)
    values := make([]interface{}, count)
    valuePtrs := make([]interface{}, count)
    for rows.Next() {
        for i := 0; i < count; i++ {
            valuePtrs[i] = &values[i]
        }
        rows.Scan(valuePtrs...)
        entry := make(map[string]interface{})
        for i, col := range columns {
            var v interface{}
            val := values[i]
            b, ok := val.([]byte)
            if ok {
                v = string(b)
            } else {
                v = val
            }
            entry[col] = v
        }
        tableData = append(tableData, entry)
    }

    currentTime := time.Now().Format("2006-01-02")
    result, err = db.Prepare("select viID,state as done,dob from visitfix where  patientID = ?")
    defer result.Close()
    if err != nil {
        return c.JSON(fiber.Map{"access_token": "wrong"})

    }

    rows, err = result.Query(pid)
    defer rows.Close()
    if err != nil {
        return c.JSON(fiber.Map{"access_token": "wrong"})

    }
    columns = []string{"viID", "done", "dob"}

    count = len(columns)
    tableDatas := make([]map[string]interface{}, 0)
    values = make([]interface{}, count)
    valuePtrs = make([]interface{}, count)
    for rows.Next() {
        for i := 0; i < count; i++ {

            valuePtrs[i] = &values[i]
        }

        rows.Scan(valuePtrs...)

        entry := make(map[string]interface{})

        for i, col := range columns {
            var v interface{}
            val := values[i]

            b, ok := val.([]byte)

            if ok {
                v = string(b)
            } else {
                v = val
            }
            if i == 2 {
                var state string
                format := "2006-1-2"

                datea, err := time.Parse(format, string(b))
                if err != nil {
                    return err
                }
                mydate := datea.Format("2006-01-02")
                if mydate == currentTime {
                    state = "today"
                }
                if mydate < currentTime {
                    state = "older"
                }
                if mydate > currentTime {
                    state = "newer"
                }

                entry["state"] = state

            }

            entry[col] = v
        }

        tableDatas = append(tableDatas, entry)
    }
    alldata := [][]map[string]interface{}{tableData, tableDatas}
    dat, err := json.Marshal(alldata)
    if err != nil {
        return err
    }

    return c.SendString(string(dat))
}

正确答案

go 进程本身不应该对（任何）数据库产生任何其他影响，就像任何其他语言一样，除非有更好的驱动程序实现来检索行数据（mysql 的游标实现已经（并且可能仍然）被破坏）。

至于游标的使用：这可以将负载分散到更长的时间，但您需要大量的数据才能注意到驱动程序实现和语言之间的差异。编译语言将能够在该时间点对数据库施加更高的负载。但再次强调：这种情况很少见。

这里要查看的主要候选者很可能是索引：您正在查询：

result, err := db.prepare(`select concat(p.firstname, ' ', p.middle, ' ', p.lastname, ' ', p.forthname) 
as fullname,gender,bid,married,barcode,comment,address,if(p2.phone is null, 0, p2.phone)  
as phone,rname,occupation,weight,height,cast(birthdate as date) as birthdate 
from profile p 
left join (select phid, pid, phone from phonefix group by pid) p2 on p.pid = p2.pid 
left join (select pid, weight, height from bmifix group by pid) b on p.pid = b.pid, religion r 
where r.rgid = p.rgid and p.pid = ? `)

您想要在 p.pid、r.rgid 和 p.rgid 上建立索引。 然后，左连接中 pid 上的分组也可能以次优方式执行（运行解释并检查执行计划）。

改进可能是删除 group by 语句：您没有 group by 函数，因此在左连接中没有使用 group by ：

result, err := db.Prepare(`select concat(p.firstName, ' ', p.middle, ' ', p.lastName, ' ', p.forthName) 
as fullname,gender,bID,married,barcode,comment,address,if(p2.phone is null, 0, p2.phone)  
as phone,rName,occupation,weight,height,cast(Birthdate as date) as Birthdate 
from profile p 
left join (select phID, pID, phone from phonefix) p2 on p.pID = p2.pID 
left join (select pID, weight, height from bmifix) B on p.pID = B.pID
left join religion r 
where r.rgID = p.rgID and p.pID = ? `)

由于您总是检索单个 pid，并且这似乎是唯一的记录，因此以下内容可能会更好（无法测试：没有您的数据库:)）：如果可能，请转到内部联接：应该优于左连接

今天关于《Go-SQL-Driver 导致 maria-db CPU 利用率非常高》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！