MongoDB查重方法：获取重复数据完整信息技巧

目前golang学习网上已经有很多关于文章的文章了，自己在初次阅读这些文章中，也见识到了很多学习思路；那么本文《MongoDB聚合查重：获取重复数据完整信息方法》，也希望能帮助到大家，如果阅读完后真的对你学习文章有帮助，欢迎动动手指，评论留言并分享~

本文将深入探讨在MongoDB聚合查询中如何正确获取包含重复数据的完整信息。通过分析group阶段在聚合管道中的作用及其对重复数据的影响，我们将提供一种解决方案，即移除group阶段并相应调整结果处理逻辑，以确保查询结果完整保留原始文档的所有匹配数据，包括重复项。

MongoDB聚合查询中的重复数据处理

MongoDB的聚合框架是一个强大且灵活的数据处理工具，允许用户对集合中的文档执行各种复杂操作，如筛选、转换、分组、统计等。然而，在使用聚合管道时，一个常见的需求是获取所有匹配的文档，包括那些在特定字段上具有相同值的“重复”文档。如果处理不当，某些聚合阶段可能会无意中移除这些重复数据，导致结果不完整。

问题分析：为何丢失重复数据？

在MongoDB聚合管道中，$group（在Spring Data MongoDB中对应TypedAggregation.group）阶段的主要作用是根据一个或多个指定的字段对文档进行分组，并对每个组执行聚合操作（如$sum、$avg、$count等）。当您使用$group并指定一个字段作为_id时，聚合管道会为该字段的每个唯一值生成一个输出文档。这意味着，所有具有相同_id字段值的原始文档将被合并成一个单一的聚合文档，从而有效地移除了基于该字段的“重复”数据。

考虑以下原始聚合代码片段：

Aggregation agg = TypedAggregation.newAggregation(
        TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
                .andOperator(Criteria.where("numBerId").ne(""))),
        TypedAggregation.group("numBerId"), // 这一步会移除numBerId的重复项
        TypedAggregation.limit(20000),
        TypedAggregation.sort(Direction.ASC, "_id"));

Document rawResults = mongo.aggregate(agg, collectionName(), Document.class).getRawResults();
return rawResults.getList("results", Document.class)
        .stream()
        .map(d -> (String) d.get("_id")) // 此时_id是分组后的numBerId
        .collect(Collectors.toList());

在这段代码中，TypedAggregation.group("numBerId")会将所有numBerId相同的文档归为一个组，并以numBerId的值作为新文档的_id。因此，无论有多少原始文档拥有相同的numBerId，最终结果中只会为每个唯一的numBerId出现一次记录，这正是导致“丢失重复数据”的原因。

解决方案：移除group阶段并调整结果处理

要获取包含重复数据的完整信息，最直接且有效的方法是移除聚合管道中的group阶段。一旦移除了group阶段，聚合管道将输出所有匹配match条件的原始文档，而不会对它们进行合并。同时，需要相应调整聚合结果的后处理逻辑，以从这些原始文档中提取所需的信息。

以下是修改后的聚合代码示例：

import org.springframework.data.mongodb.core.aggregation.Aggregation;
import org.springframework.data.mongodb.core.aggregation.TypedAggregation;
import org.springframework.data.mongodb.core.query.Criteria;
import org.springframework.data.domain.Sort.Direction;
import org.bson.Document;
import java.util.List;
import java.util.stream.Collectors;

// 假设 mongo 和 collectionName() 已经定义
// MongoTemplate mongo;
// String collectionName();
// String numBerId; // 示例查询参数

public List<String> getAllNumBerIdsWithDuplicates(String numBerId) {
    Aggregation agg = TypedAggregation.newAggregation(
            TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
                    .andOperator(Criteria.where("numBerId").ne(""))),
            // 移除 TypedAggregation.group("numBerId") 阶段
            TypedAggregation.limit(20000),
            TypedAggregation.sort(Direction.ASC, "numBerId") // 排序现在基于原始字段
    );

    Document rawResults = mongo.aggregate(agg, collectionName(), Document.class).getRawResults();
    return rawResults.getList("results", Document.class)
            .stream()
            .map(d -> (String) d.get("numBerId")) // 从原始文档中获取numBerId
            .collect(Collectors.toList());
}

代码解析

1. 移除TypedAggregation.group("numBerId"): 这是核心改动。通过移除此阶段，聚合管道不再对文档进行分组和合并，而是将所有通过match阶段筛选出的文档原样传递给后续阶段。
2. 调整sort阶段的字段: 原本sort(Direction.ASC, "_id")是在group之后对分组后的_id（即numBerId）进行排序。现在，由于移除了group，_id将是原始文档的_id。如果仍希望按numBerId排序，应将排序字段改为"numBerId"。
3. 调整结果处理逻辑: 在rawResults.getList("results", Document.class).stream().map(...)部分，原始代码是d -> (String) d.get("_id")。由于移除了group，results列表中的每个Document现在是原始文档的完整副本。因此，要获取numBerId字段的值，需要将d.get("_id")改为d.get("numBerId")。这样，Collectors.toList()将收集所有匹配文档的numBerId值，包括重复项。

进一步思考与最佳实践

• 何时使用group阶段？group阶段适用于您确实需要对数据进行汇总、统计或去重处理的场景。例如，计算每个numBerId出现的次数，或者获取每个numBerId对应的最大/最小某个值。

• 获取特定字段的重复值列表 如果您只是想获取某个特定字段（例如numBerId）的所有值列表，包括重复项，而不需要原始文档的所有其他字段，可以在match阶段之后添加一个project阶段来优化性能和网络传输：

  Aggregation aggWithProjection = TypedAggregation.newAggregation(
          TypedAggregation.match(Criteria.where("numBerId").regex("^" + numBerId, "i")
                  .andOperator(Criteria.where("numBerId").ne(""))),
          TypedAggregation.project("numBerId"), // 只投影numBerId字段
          TypedAggregation.limit(20000),
          TypedAggregation.sort(Direction.ASC, "numBerId")
  );
  
  Document rawResultsWithProjection = mongo.aggregate(aggWithProjection, collectionName(), Document.class).getRawResults();
  return rawResultsWithProjection.getList("results", Document.class)
          .stream()
          .map(d -> (String) d.get("numBerId")) // 此时d可能是 {"_id": originalDocId, "numBerId": "value"}
          .collect(Collectors.toList());

  通过project("numBerId")，每个输出文档将只包含原始_id和numBerId字段，减少了传输的数据量。

• 性能考量 对于非常大的数据集，limit阶段应尽可能放在聚合管道的早期，尤其是在match之后，以减少处理的文档数量。sort操作在处理大量数据时可能会消耗较多资源，如果不是必须的，可以考虑移除或在应用层进行排序。

总结

在MongoDB聚合查询中，若要获取包含重复数据的完整信息，关键在于理解并正确使用聚合管道的各个阶段。当目标是保留所有匹配文档及其原始数据时，应避免使用group阶段进行不必要的去重操作。通过简单地移除group阶段并相应调整结果处理逻辑，即可轻松实现这一目标。同时，利用project阶段可以进一步优化查询，仅返回所需字段，提高效率。正确地构建聚合管道，是高效利用MongoDB处理数据的基石。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《MongoDB查重方法：获取重复数据完整信息技巧》文章吧，也可关注golang学习网公众号了解相关技术文章。