多DataFrame按序号对齐合并技巧

本文详解了一种精准、鲁棒的多DataFrame对齐合并方法，特别适用于系统性能测试等场景中需按语义化迭代标识（如“1_1”“2_2”）横向比对不规则数据的情况——它摒弃了易出错的位置索引依赖和键值严格匹配的局限，通过“设索引→按目标列表reindex强制对齐→重置索引→水平拼接”三步核心流程，确保输出行序严格一致、缺失项自动填充NaN、多源列名清晰可辨，兼具准确性、可扩展性与工程实用性，是处理非对称实验数据比对的高效标准解法。

本文介绍如何基于指定的迭代标识（如"1_1"、"2_2"等）从多个DataFrame中精准提取行，并沿列方向（axis=1）对齐合并，适用于性能测试数据比对等场景。

在实际数据分析（尤其是系统性能基准测试）中，常需对比不同实验轮次下相同迭代编号（如 1_1, 2_2）的指标（如 IOPS、延迟），但各DataFrame的行顺序、长度及覆盖范围往往不一致。此时，不能直接使用 merge 或 join（因需严格匹配键值），也不能依赖索引位置（因顺序不可靠）；正确做法是：先按用户指定的迭代ID列表对每个DataFrame进行语义对齐（semantic alignment）——即重排行序、补全缺失（设为NaN）、确保输出顺序与目标列表完全一致，再水平拼接。

核心思路分三步：

1. 将 'iteration' 列设为索引；
2. 使用 .reindex() 按目标ID列表强制重排并对齐（未命中ID自动填充NaN）；
3. 重置索引并用 pd.concat(..., axis=1) 横向合并多个对齐后的DataFrame。

以下为完整实现代码：

import pandas as pd

# 示例数据（与问题一致）
df1 = pd.DataFrame({
    'iteration': ['1_1', '2_2', '3_3', '4_4', '5_5', '6_6', '7_7', '8_8', '9_9'],
    'IOPS': [46090, 12, 49164, 98311, 196604, 249843, 298974, 348108, 397230],
    'Latency': [0.7300, 0.0221, 0.1236, 0.1318, 0.2076, 0.1467, 0.1578, 0.1604, 0.1707]
})

df2 = pd.DataFrame({
    'iteration': ['1_1', '2_2', '3_3', '4_4', '5_5', '6_6'],
    'IOPS': [46074, 12, 49159, 98307, 298976, 397265],
    'Latency': [0.6977, 0.0279, 0.1921, 0.2189, 0.2337, 0.2622]
})

# 定义对齐函数：按指定 iteration 列表重排 DataFrame
def align_by_iteration(df, target_iters):
    return (df.set_index('iteration')
              .reindex(target_iters)  # 关键：保持 target_iters 的顺序，缺失行填 NaN
              .reset_index()          # 恢复 iteration 为普通列
           )

# 对两个 DataFrame 分别对齐后横向拼接
df3 = pd.concat([
    align_by_iteration(df1, ['1_1', '2_2', '3_3', '9_9']),
    align_by_iteration(df2, ['1_1', '2_2', '5_5', '6_6'])
], axis=1)

print(df3)

输出结果将严格按输入列表顺序对齐，且列名自动保留原始前缀（无重复列名冲突）：

  iteration    IOPS  Latency iteration    IOPS  Latency
0       1_1   46090   0.7300       1_1   46074   0.6977
1       2_2      12   0.0221       2_2      12   0.0279
2       3_3   49164   0.1236       5_5  298976   0.2337
3       9_9  397230   0.1707       6_6  397265   0.2622

✅ 关键优势与注意事项：

• 顺序严格保证：.reindex() 确保输出行顺序与 target_iters 列表完全一致，不受原始DataFrame顺序影响；
• 缺失值显式处理：若某ID在源DataFrame中不存在，对应行所有字段为 NaN，便于后续识别数据缺口；
• 可扩展性强：支持任意数量DataFrame，只需将 (df, target_list) 元组传入 starmap 或循环调用 align_by_iteration；
• 避免隐式索引错误：切勿省略 .set_index('iteration') 步骤——直接对原始DataFrame用 .loc[target_list] 会因索引类型不匹配报错；
• 列名管理提示：若需区分来源列（如添加 _df1/_df2 后缀），可在 concat 前使用 add_suffix()，例如 align_by_iteration(...).add_suffix('_A')。

该方法兼顾准确性、可读性与工程鲁棒性，是处理非对称实验数据比对的标准实践。

以上就是本文的全部内容了，是否有顺利帮助你解决问题？若是能给你带来学习上的帮助，请大家多多支持golang学习网！更多关于文章的相关知识，也可关注golang学习网公众号。