如何按组展开词列表生成新行DataFrame

本文深入讲解了如何利用 pandas 的 explode、merge 和 concat 等核心方法，将嵌套在 legend 中按 object 分组的词列表（word_lists）高效展开为多行，并精准关联到原始数据中每个 object 对应的所有 personID，同时智能区分原始记录（included=1）与扩展生成的词（included=0）；通过简洁可复用的代码示例和关键注意事项说明，不仅解决了列表字段按组广播的典型数据整形难题，还兼顾了业务逻辑严谨性、结果去重策略及大规模数据下的性能与可维护性，是 pandas 高级数据处理实践的实用范本。

本文介绍使用 pandas 的 explode、merge 和 concat 方法，根据 object 分组将 legend 中的 word_lists 展开为多行，并与原始 df 按 object 和 personID 关联后合并，同时正确标记 included 字段。

本文介绍使用 pandas 的 explode、merge 和 concat 方法，根据 object 分组将 legend 中的 word_lists 展开为多行，并与原始 df 按 object 和 personID 关联后合并，同时正确标记 included 字段。

在数据处理中，常需将嵌套的列表字段（如 word_lists）按主键展开为多行，并与已有记录进行逻辑组合。本例目标是：对每个 object 类别，将其在 legend 中定义的完整词表（word_lists）复制到该 object 下所有 personID 对应的组中，同时保留原始 df 中已存在的词（included=1），并将新增词统一标记为 included=0。

实现的关键步骤如下：

1. 展开词列表：使用 .explode('word_lists') 将 legend 中每个 object 对应的列表展开为独立行；
2. 重命名列并关联人员信息：将 word_lists 重命名为 word，再通过 .merge() 与 df[['object', 'personID']].drop_duplicates() 进行笛卡尔式匹配（即每个 object 的全部词，分配给该 object 下所有 personID）；
3. 标记新增记录：用 .assign(included=0) 为所有展开生成的行设置 included=0；
4. 合并与排序：用 pd.concat([original_df, expanded_df]) 合并原始数据与扩展数据，并按 personID 和 object 排序以提升可读性。

以下是完整可运行代码：

import pandas as pd

# 构造示例数据
df = pd.DataFrame({
    'object': ['dog', 'dog', 'cat', 'mouse'],
    'personID': [1, 1, 2, 3],
    'word': ['paw', 'head', 'whisker', 'tail'], 
    'included': [1, 1, 1, 1]
})

legend = pd.DataFrame({
    'object': ['dog', 'cat', 'mouse'],
    'word_lists': [
        ['paw', 'head', 'nose', 'body'], 
        ['whisker', 'ears', 'eyes'], 
        ['ears', 'tail', 'fur']
    ]
})

# 执行扩展与合并
expanded = (legend
            .explode('word_lists')
            .rename(columns={'word_lists': 'word'})
            .merge(df[['object', 'personID']].drop_duplicates())
            .assign(included=0))

result_df = (pd.concat([df, expanded], ignore_index=True)
             .sort_values(['personID', 'object'])
             .reset_index(drop=True))

print(result_df)

⚠️ 注意事项：

• merge(...) 默认执行内连接，但此处因 df[['object','personID']].drop_duplicates() 仅含合法 (object, personID) 组合，能确保不引入无效 personID；
• 若某 object 在 df 中无对应 personID，则其词表不会出现在结果中——这符合“按 df 中实际存在的 group 补充”的业务逻辑；
• ignore_index=True 可避免 concat 后索引重复；reset_index(drop=True) 保证最终索引连续整洁；
• 若需进一步去重（如防止原始词与 legend 中重复词产生冗余行），可在最后添加 .drop_duplicates(subset=['object','personID','word'], keep='first')，但需注意 included=1 应优先保留。

该方法简洁高效，充分利用 pandas 原生向量化操作，适用于中等规模数据（百万级以下），且逻辑清晰、易于维护和拓展。

以上就是《如何按组展开词列表生成新行DataFrame》的详细内容，更多关于的资料请关注golang学习网公众号！