使用 golang 迭代超过 10,000 个 postgresql 行需要很长时间（20 分钟），我如何加快速度？

学习Golang要努力，但是不要急！今天的这篇文章《使用 golang 迭代超过 10,000 个 postgresql 行需要很长时间（20 分钟），我如何加快速度？》将会介绍到等等知识点，如果你想深入学习Golang，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

请参阅下面的更新

我有一个函数，使用 [gorm][1] 查询 postrgesql 数据库，然后迭代返回的所有行并执行一些简单的计算，例如检查自上次通知以来的时间差异和价格变化等

令人失望的是，每 10 行需要 1.2 秒，而且谢天谢地，这是线性扩展的

因此 10,000 行大约需要 20 分钟 我对其进行了测试，缩放比例非常线性，5,000 行大约需要 10 分钟 等

我如何减少这个，以便我可以在几秒钟内完成我想要执行的任务？我计划必须按照我的期望迭代1,000,000 行，并且我希望能够在 60 秒或更短的时间内完成超过 100 万行的任务

背景故事：

我最初使用 python fastapi 框架构建了这个应用程序，我得到了一些类似的结果 性能，python 慢了 2 倍...但我被告知 golang 非常好 与动态类型的 python 相比，快速且愚蠢，但大约 2倍性能，真的是这样吗？ 所以现在我在 golang 中重建了整个应用程序，我仍然得到这个 糟糕的数字，是时候联系我心爱的 stackoverflow 了 社区寻求帮助 我洗耳恭听所有关于完成这项任务的最佳方法的建议 我正在努力表演。就像我说的，我可以有 100 万行 过程，所以我正在寻找一个面向未来的解决方案之类的 这就像做这样的事情的最好方法 我有下面任务正在执行的功能，以便你们可以 准确地了解迭代中涉及的内容。

package main

import (
    ...
    ...
    ...
    "fmt"
    "time"
)

func sendnotification() error {

    var productprices []models.productprice
    database.db.where("status = ?", "enabled").find(&productprices)

    timenow := time.now()
    for _, productprice := range productprices {
    
        if productprice.lastnotified.iszero() != true {
            lastnotified := productprice.lastnotified
            timenotified, _ := time.parse(time.rfc3339, lastnotified.string())
            timeduration := timenow.sub(timenotified)
            timedurationseconds := timeduration.seconds()
            
            if uint64(timedurationseconds) < productprice.cooldown {
                continue
            }
        }

        // call an external api endpoint to get the current price of product based on product name
        setprice := providers.getproductprice(providers.providerone, productprice.name)

        if float64(setprice) == 0 {
            continue
        }

        if productprice.type == "above" && productprice.price >= float64(setprice) {
            continue
        }
        
        if productprice.type == "below" && productprice.price <= float64(setprice) {
            continue
        }
        
        var user models.user

        database.db.where("id = ?", productprice.userid).first(&user)

        userto := user.email
        notificationmessage := fmt.sprintf(`
        
        
            
 welcome back %s
        
        `, user.email)

        emailsubject := fmt.sprintf("%s product notification for %s", productprice.name, user.email)


        if productprice.notificationmethod == "email" {
            notificationmethodemail(sendemail, userto, notificationmessage, emailsubject)
        }
        if productprice.notificationmethod == "sms" {
            notificationmethodsms(sendsms, userto, notificationmessage)
        }
    }

    fmt.println("processed this number of rows: ", len(productprices), "\n")
    return nil  
}

func sendnotificationcron() {
    for {
        // i deally i will be running this every 2 minutes
        // when am able to speed things up to less than 60 seconds
        time.sleep(30 * time.minute)
        starttime := time.now()
        sendnotification()
        endtime := time.now()
        cronduration := endtime.sub(starttime)
        fmt.println("duration: ", cronduration, "\n")
    }
}


func main() {
    go notifications.sendnotificationcron()
}

这是测试结果

golang-task       | processed this number of rows:  10 
golang-task       | 
golang-task       | duration:  1.377023066s 
golang-task       | 
golang-task       | processed this number of rows:  10 
golang-task       | 
golang-task       | duration:  1.097972596s

golang-task       | prcoessed this number of rows:  4000 
golang-task       | 
golang-task       | duration:  7m59.548090252s 
golang-task       | 
golang-task       | prcoessed this number of rows:  4000 
golang-task       | 
golang-task       | duration:  7m41.425781293s

golang-task       | processed this number of rows:  8000 
golang-task       | 
golang-task       | duration:  14m10.168135161s
golang-task       | 
golang-task       | processed this number of rows:  8000 
golang-task       | 
golang-task       | duration:  16m2.544522843s

非常感谢您的帮助 提前致谢

更新：

[1]

问题出在每行进行外部 api 调用的行

我按照评论的建议更新了数据库查询以使用 join，但仍需要类似的时间才能完成

因此，我决定删除外部 api 部分，并硬编码一个浮点值以用于所有行迭代，这是删除外部 api 调用部分后得到的结果

golang-task       | prcoessed this number of rows:  1000 
golang-task       | 
golang-task       | duration:  20.645238ms 
golang-task       | 
golang-task       | prcoessed this number of rows:  1000 
golang-task       | 
golang-task       | duration:  23.839578ms

golang-task       | prcoessed this number of rows:  10000 
golang-task       | 
golang-task       | duration:  252.026702ms 
golang-task       | 
golang-task       | prcoessed this number of rows:  10000 
golang-task       | 
golang-task       | duration:  234.026715ms

看来问题出在外部 api 调用部分。 现在这种情况我能做什么？ [1]：https://gorm.io

正确答案

您正在对每个用户进行查询。因此你的程序会因此线性减慢。这个问题有一个基本的解决方案。我不知道你的数据结构，所以将此答案作为解决问题的指南。

您必须在此处加入：

database.DB.Where("status = ?", "enabled").Find(&productPrices)

并且您必须删除此查询：

database.DB.Where("id = ?",productPrice.UserId).First(&user)

并从 productPrices.User 获取数据，而不是查询用户 n 次。

以上就是《使用 golang 迭代超过 10,000 个 postgresql 行需要很长时间（20 分钟），我如何加快速度？》的详细内容，更多关于的资料请关注golang学习网公众号！