当前位置：首页 > 文章列表 > Golang > Go问答 > 使用 golang 迭代超过 10,000 个 postgresql 行需要很长时间（20 分钟），我如何加快速度？

使用 golang 迭代超过 10,000 个 postgresql 行需要很长时间（20 分钟），我如何加快速度？

来源：stackoverflow 2024-02-27 21:12:26 0浏览收藏

学习Golang要努力，但是不要急！今天的这篇文章《使用 golang 迭代超过 10,000 个 postgresql 行需要很长时间（20 分钟），我如何加快速度？》将会介绍到等等知识点，如果你想深入学习Golang，可以关注我！我会持续更新相关文章的，希望对大家都能有所帮助！

问题内容

请参阅下面的更新

我有一个函数，使用 [gorm][1] 查询 postrgesql 数据库，然后迭代返回的所有行并执行一些简单的计算，例如检查自上次通知以来的时间差异和价格变化等

令人失望的是，每 10 行需要 1.2 秒，而且谢天谢地，这是线性扩展的

因此 10,000 行大约需要 20 分钟 我对其进行了测试，缩放比例非常线性，5,000 行大约需要 10 分钟 等

我如何减少这个，以便我可以在几秒钟内完成我想要执行的任务？我计划必须按照我的期望迭代1,000,000 行，并且我希望能够在 60 秒或更短的时间内完成超过 100 万行的任务

背景故事：

我最初使用 python fastapi 框架构建了这个应用程序，我得到了一些类似的结果性能，python 慢了 2 倍...但我被告知 golang 非常好与动态类型的 python 相比，快速且愚蠢，但大约 2倍性能，真的是这样吗？所以现在我在 golang 中重建了整个应用程序，我仍然得到这个糟糕的数字，是时候联系我心爱的 stackoverflow 了社区寻求帮助我洗耳恭听所有关于完成这项任务的最佳方法的建议我正在努力表演。就像我说的，我可以有 100 万行过程，所以我正在寻找一个面向未来的解决方案之类的这就像做这样的事情的最好方法我有下面任务正在执行的功能，以便你们可以准确地了解迭代中涉及的内容。

package main

import (
    ...
    ...
    ...
    "fmt"
    "time"
)

func sendnotification() error {

    var productprices []models.productprice
    database.db.where("status = ?", "enabled").find(&productprices)

    timenow := time.now()
    for _, productprice := range productprices {
    
        if productprice.lastnotified.iszero() != true {
            lastnotified := productprice.lastnotified
            timenotified, _ := time.parse(time.rfc3339, lastnotified.string())
            timeduration := timenow.sub(timenotified)
            timedurationseconds := timeduration.seconds()
            
            if uint64(timedurationseconds) < productprice.cooldown {
                continue
            }
        }

        // call an external api endpoint to get the current price of product based on product name
        setprice := providers.getproductprice(providers.providerone, productprice.name)

        if float64(setprice) == 0 {
            continue
        }

        if productprice.type == "above" && productprice.price >= float64(setprice) {
            continue
        }
        
        if productprice.type == "below" && productprice.price <= float64(setprice) {
            continue
        }
        
        var user models.user

        database.db.where("id = ?", productprice.userid).first(&user)

        userto := user.email
        notificationmessage := fmt.sprintf(`<!doctype html>
        <html lang="en">
        <body>
            <p> welcome back %s
        </body>
        </html>`, user.email)

        emailsubject := fmt.sprintf("%s product notification for %s", productprice.name, user.email)


        if productprice.notificationmethod == "email" {
            notificationmethodemail(sendemail, userto, notificationmessage, emailsubject)
        }
        if productprice.notificationmethod == "sms" {
            notificationmethodsms(sendsms, userto, notificationmessage)
        }
    }

    fmt.println("processed this number of rows: ", len(productprices), "\n")
    return nil  
}

func sendnotificationcron() {
    for {
        // i deally i will be running this every 2 minutes
        // when am able to speed things up to less than 60 seconds
        time.sleep(30 * time.minute)
        starttime := time.now()
        sendnotification()
        endtime := time.now()
        cronduration := endtime.sub(starttime)
        fmt.println("duration: ", cronduration, "\n")
    }
}


func main() {
    go notifications.sendnotificationcron()
}

这是测试结果

golang-task       | processed this number of rows:  10 
golang-task       | 
golang-task       | duration:  1.377023066s 
golang-task       | 
golang-task       | processed this number of rows:  10 
golang-task       | 
golang-task       | duration:  1.097972596s

golang-task       | prcoessed this number of rows:  4000 
golang-task       | 
golang-task       | duration:  7m59.548090252s 
golang-task       | 
golang-task       | prcoessed this number of rows:  4000 
golang-task       | 
golang-task       | duration:  7m41.425781293s

golang-task       | processed this number of rows:  8000 
golang-task       | 
golang-task       | duration:  14m10.168135161s
golang-task       | 
golang-task       | processed this number of rows:  8000 
golang-task       | 
golang-task       | duration:  16m2.544522843s

非常感谢您的帮助提前致谢

更新：

[1]

问题出在每行进行外部 api 调用的行

我按照评论的建议更新了数据库查询以使用 join，但仍需要类似的时间才能完成

因此，我决定删除外部 api 部分，并硬编码一个浮点值以用于所有行迭代，这是删除外部 api 调用部分后得到的结果

golang-task       | prcoessed this number of rows:  1000 
golang-task       | 
golang-task       | duration:  20.645238ms 
golang-task       | 
golang-task       | prcoessed this number of rows:  1000 
golang-task       | 
golang-task       | duration:  23.839578ms

golang-task       | prcoessed this number of rows:  10000 
golang-task       | 
golang-task       | duration:  252.026702ms 
golang-task       | 
golang-task       | prcoessed this number of rows:  10000 
golang-task       | 
golang-task       | duration:  234.026715ms

看来问题出在外部 api 调用部分。现在这种情况我能做什么？ [1]：https://gorm.io