Python按ID合并数据保留非空值技巧

本文揭秘了如何用 pandas 智能合并同一 ID 下分散在多行中的稀疏数据，通过向后填充（bfill）结合分组取首行，将各字段的非空值“聚拢”到单一行中，既避免信息丢失又消除重复冗余；相比简单去重或机械取首尾，该方法真正实现“每条记录尽可能完整”，特别适合处理报表导入、问卷导出等常见场景中的碎片化数据，让3130行杂乱数据一键压缩为900行高可用结构化结果。

本文介绍使用 pandas 对具有相同 ID 的多行记录进行智能合并的方法，通过前向/后向填充与分组聚合，将分散在不同行中的非空值整合到同一行，有效消除冗余、提升数据整洁度。

本文介绍使用 pandas 对具有相同 ID 的多行记录进行智能合并的方法，通过前向/后向填充与分组聚合，将分散在不同行中的非空值整合到同一行，有效消除冗余、提升数据整洁度。

在数据分析与报表自动化场景中，常遇到“同一实体（如 P ID）的属性分散在多行”的问题：各字段（如 Q1/Q2/Q3）值稀疏分布，每行仅填充部分列，导致重复 ID 出现多次。直接 drop_duplicates() 会丢失信息，而简单取 'first' 或 'last' 又可能遗漏关键值。理想方案是：对每个 ID 组，将所有非空值“合并”至一行，优先保留有效内容，而非机械选取首尾。

✅ 推荐方案：bfill() + groupby().head(1)（推荐）

该方法利用 bfill()（向后填充）将每组内后续行的非空值向上补全，再取每组第一行——等效于“为每个 ID 提取最完整的一行”。

import pandas as pd

# 构造示例数据（模拟原始 Excel 导入结果）
df = pd.DataFrame({
    "P ID": [318, 318, 319, 319],
    "T ID": [495, 495, 496, 496],
    "C ID": ["00036282", "00036282", "00036283", "00036283"],
    "Q1": ["NO", None, "Yes", None],
    "Q2": [None, "Yes", None, "Yes"],
    "Q3": [None, "All cost covered", "No additional costs", None],
})

# 关键步骤：按 P ID 分组 → 向后填充 → 取每组首行 → 重置索引
merged_df = (df.groupby("P ID", group_keys=False)
               .apply(lambda x: x.bfill().head(1))
               .reset_index(drop=True))

print(merged_df)

输出：

   P ID  T ID      C ID    Q1    Q2                 Q3
0   318   495  00036282    NO   Yes  All cost covered
1   319   496  00036283   Yes   Yes  No additional costs

✅ 为什么用 bfill()？
它确保每组中靠下的非空值能“上浮”覆盖上方的空值；若某字段仅在第二行有值（如 Q2），bfill() 会将其填入第一行，最终 head(1) 即得完整行。
⚠️ 注意：此法假设同组内各 ID 的 T ID、C ID 等标识列值完全一致（如示例中 318 对应两个 495）。若存在真实冲突（如 T ID 不一致），需先校验或改用更严格的聚合策略。

? 替代方案：fillna() + first()（兼容性更强）

若数据中存在混合类型（如字符串与数字混杂），或需显式控制填充逻辑，可改用 first() 聚合配合 fillna：

# 先用 first() 获取每组首个非空值（自动跳过 NaN）
agg_dict = {col: 'first' for col in df.columns if col != "P ID"}
# 注意：'first' 在 pandas 中对 NaN 自动忽略，等效于取首个有效值
merged_df_v2 = df.groupby("P ID").agg(agg_dict).reset_index()

但需注意：'first' 行为依赖数据顺序。若原始数据中某字段的有效值总出现在后几行，则 bfill().head(1) 更鲁棒。

? 实用注意事项

• ID 列必须唯一标识逻辑实体：确保 P ID（或其他主键）真正代表同一对象，否则合并将导致语义错误。
• 处理缺失值类型：确认空值为 None 或 pd.NA 或空字符串 ""。若含空字符串，建议预处理统一转为 NaN：

  df = df.replace("", pd.NA)

• 保留全部列：上述方法自动作用于所有列，无需手动指定字段，符合“所有列都要保留”的需求。
• 性能提示：对 3000+ 行数据，groupby().apply() 效率足够；若数据量达百万级，可考虑 sort_values() + drop_duplicates(keep='first') 配合预填充优化。

✅ 总结

运行后，你的 3130 行数据将精准压缩为约 900 行结构化结果，可直接导出 Excel：

merged_df.to_excel("merged_output.xlsx", index=False)

至此，自动化流程中最后一环——冗余行合并——得以优雅闭环。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~