当前位置：首页 > 文章列表 > Golang > Go问答 > 高效处理大容量数据集的方法：在 Go 和 MongoDB 中进行迭代

高效处理大容量数据集的方法：在 Go 和 MongoDB 中进行迭代

来源：stackoverflow 2024-03-09 17:54:31 0浏览收藏

最近发现不少小伙伴都对Golang很感兴趣，所以今天继续给大家介绍Golang相关的知识，本文《高效处理大容量数据集的方法：在 Go 和 MongoDB 中进行迭代》主要内容涉及到等等知识点，希望能帮到你！当然如果阅读本文时存在不同想法，可以在评论中表达，但是请勿使用过激的措辞~

问题内容

这更像是一个普遍问题，但这是我的问题。我们有2个数据库，都是mongo数据库。我们正在将数据从一个 mongo 实例迁移到另一个实例，我们应用程序的 v1 和 v2 之间的差异意味着对所述数据的重构。问题就出在这里。一个特定的收藏包含大约 84 万条记录。获取这 840 条记录不是问题。我需要将数据结构转换为新的数据库模式。重构的一部分是将新生成的 3 个其他集合的 objectid 嵌入到迁移的这个特定部分中。

示例是患者集合，护理人员集合，机构征集、这些是在没有 id 的情况下导入的，由 mongo 生成

它们都被新生成的 objectid 在访问集合中的 840k 记录中引用

我的问题在于，当我遍历所有 4 个集合来排列此过程所占用的数据时，我什至不知道在杀死它之前我让它运行了 4 小时多长时间。

for _, a := range agencies {
        for _, c := range caregivers {
            for _, p := range patients {
                for _, m := range model {
                    if a.name == *m.agencyname && m.caregiverid == &c.caregiverid && m.patientid == &p.patientid {
                        visit := &models.visit{
                            createdat:  time.now(),
                            updatedat:  time.now(),
                            agencyid:   a.id.hex(),
                            scheduleid: *m.scheduleid,
                            status:     *m.status,
                            start:      *m.start,
                            end:        *m.end,
                            patientid:  p.id.hex(),
                            userid:     c.id.hex(),
                        }
                        updatemodel = append(updatemodel, mongo.newupdateonemodel().setfilter(
                            bson.d{
                                {key: "agencyid", value: a.id.hex()},
                                {key: "userid", value: c.id.hex()},
                                {key: "patientid", value: p.id.hex()},
                                {key: "scheduleid", value: m.scheduleid},
                                {key: "start", value: m.start},
                                {key: "end", value: m.end},
                            },
                        ).setupdate(
                            bson.d{{key: "$set", value: visit}},
                        ).setupsert(true))
                    }
                }
            }
        }
    }

现在，当我执行这些代码时，该代码适用于较小的集合，但是这个代码所花费的时间比我们等待的时间要长。我的问题是，将 32 个机构、8000 名患者、6000 名护理人员的 840k 记录排列起来最省时的方法是什么。我做了一些数学计算，它的变化次数超出了我的计算器所能给出的数字。 fwi 我不关心资源消耗，因为我们可以在运行应用程序所需的时间内启动任何大小的云计算机。这是从 840k 访问中的每一次访问的 3 个其他集合中获取这些对象 id 的有效方法。我确实考虑过将这些集合导入到旧数据库并在输入聚合期间查找 id，但这并不是很编程。

使用缓存的 objectid 修改范围

for _, m := range model {
        agency, agencyFound := c.Get(*m.AgencyName)
        uid, uidFound := c.Get(fmt.Sprintf("caregiver-%v-%d", agency, *m.CaregiverID))
        patientId, patientFound := c.Get(fmt.Sprintf("patient-%v-%d", agency, *m.PatientID))
        if agencyFound && uidFound && patientFound {
            visit := &models.Visit{
                CreatedAt:  time.Now(),
                UpdatedAt:  time.Now(),
                AgencyID:   fmt.Sprintf("%v", agency),
                ScheduleID: *m.ScheduleID,
                Status:     *m.Status,
                Start:      *m.Start,
                End:        *m.End,
                PatientID:  fmt.Sprintf("%v", patientId),
                UserID:     fmt.Sprintf("%v", uid),
            }
            updateModel = append(updateModel, mongo.NewUpdateOneModel().SetFilter(
                bson.D{
                    {Key: "agencyId", Value: fmt.Sprintf("%v", agency)},
                    {Key: "userId", Value: fmt.Sprintf("%v", uid)},
                    {Key: "patientId", Value: fmt.Sprintf("%v", patientId)},
                    {Key: "scheduleId", Value: m.ScheduleID},
                    {Key: "start", Value: m.Start},
                    {Key: "end", Value: m.End},
                },
            ).SetUpdate(
                bson.D{{Key: "$set", Value: visit}},
            ).SetUpsert(true))
        }
    }