Pandas根据列值生成新列技巧

IT行业相对于一般传统行业，发展更新速度更快，一旦停止了学习，很快就会被行业所淘汰。所以我们需要踏踏实实的不断学习，精进自己的技术，尤其是初学者。今天golang学习网给大家整理了《Pandas根据列值创建新列方法》，聊聊，我们一起来看看吧！

本教程详细介绍了如何使用Pandas库，根据DataFrame中指定列范围内（并排除特定列）是否存在满足条件的值，来高效地创建和填充一个新列。文章将通过`df.filter()`结合正则表达式进行列选择，并利用`any(axis=1)`进行行级别条件判断，最终使用`numpy.where()`实现灵活的条件赋值，从而帮助用户快速掌握复杂条件下的数据处理技巧。

在数据分析和预处理过程中，我们经常需要根据DataFrame中多列的数据状态来生成一个新的特征列。例如，判断某个实体是否为“响应者”可能需要检查一系列相关事件列中是否存在任何一个非零值，同时又需要排除某些特定的事件列。本教程将详细演示如何利用Pandas的强大功能，高效且优雅地完成这项任务。

场景描述

假设我们有一个包含动物实验数据的DataFrame，其中记录了不同动物在不同实验日期的事件数（events_d1, events_d2, events_d3, events_d4等）。我们的目标是创建一个名为responder的新列，如果某行在events_d1到events_d3这些列中（即不包括events_d4）至少有一个事件数大于0，则标记为'y'（响应者），否则标记为'n'。关键在于，我们希望能够通过模式匹配而非逐一列举的方式来选择events_d*列，并排除events_d4。

准备示例数据

首先，我们创建一个示例DataFrame来模拟上述场景：

import pandas as pd
import numpy as np

data = {
    'Animal_ID': ['a1', 'a2', 'a3', 'a4'],
    'weight': [50, 52, 75, 53],
    'Project': ['p1', 'p2', 'p1', 'p2'],
    'Exp_type': ['Acute', 'chronic', 'Acute', 'chronic'],
    'researcher': ['alex', 'mat', 'alex', 'mat'],
    'events_d1': [0, 0, 1, 0],
    'events_d2': [0, 1, np.nan, np.nan],
    'events_d3': [0, 1, 2, np.nan],
    'events_d4': [4, 5, np.nan, 0]
}
df = pd.DataFrame(data)
print("原始 DataFrame:")
print(df)

原始 DataFrame 输出：

  Animal_ID  weight Project Exp_type researcher  events_d1  events_d2  events_d3  events_d4
0        a1      50      p1    Acute       alex          0        0.0        0.0        4.0
1        a2      52      p2  chronic        mat          0        1.0        1.0        5.0
2        a3      75      p1    Acute       alex          1        NaN        2.0        NaN
3        a4      53      p2  chronic        mat          0        NaN        NaN        0.0

解决方案

解决此问题的核心在于两个步骤：

1. 精确选择目标列： 使用df.filter()结合正则表达式来匹配所有events_d开头的列，并排除events_d4。
2. 应用行级条件判断： 对选定的列进行行级别检查，判断是否存在至少一个大于0的值。

# 步骤1: 使用 filter 和正则表达式选择目标列
# 正则表达式 "events_d[^4]" 匹配以 "events_d" 开头，后面跟着的字符不是 "4" 的列名
target_columns_df = df.filter(regex="events_d[^4]")

# 步骤2: 对选定的列进行行级别判断，是否存在任何一个大于0的值
# .any(axis=1) 会检查每一行中是否有任何一个 True (或非零/非NaN) 值
# 对于数值列，0 被视为 False，任何非零值被视为 True。NaN 值会被忽略。
condition_mask = target_columns_df.any(axis=1)

# 步骤3: 根据条件掩码创建新的 'responder' 列
# np.where(condition, value_if_true, value_if_false)
df['responder'] = np.where(condition_mask, 'y', 'n')

print("\n处理后的 DataFrame:")
print(df)

处理后的 DataFrame 输出：

  Animal_ID  weight Project Exp_type researcher  events_d1  events_d2  events_d3  events_d4 responder
0        a1      50      p1    Acute       alex          0        0.0        0.0        4.0         n
1        a2      52      p2  chronic        mat          0        1.0        1.0        5.0         y
2        a3      75      p1    Acute       alex          1        NaN        2.0        NaN         y
3        a4      53      p2  chronic        mat          0        NaN        NaN        0.0         n

代码详解

1. df.filter(regex="events_d[^4]"):

   • df.filter() 方法用于根据行标签、列标签或正则表达式来选择DataFrame的子集。
   • regex="events_d[^4]" 是一个正则表达式。
     • events_d：匹配字面字符串 "events_d"。
     • [^4]：这是一个字符集，表示匹配除了字符 '4' 之外的任何单个字符。
   • 因此，这个正则表达式会匹配 events_d1, events_d2, events_d3 等，但不会匹配 events_d4。
   • 此操作返回一个新的DataFrame，其中只包含符合正则表达式的列。在我们的例子中，它会返回 events_d1, events_d2, events_d3 列。

2. .any(axis=1):

   • 这是一个DataFrame或Series的方法，用于检查沿指定轴是否存在任何 True 值。
   • axis=1 表示按行进行操作。对于每一行，它会检查选定列中的所有值。
   • 在数值列中，0 被视为 False，任何非零数值（包括正数和负数）被视为 True。
   • NaN 值在 any() 和 all() 操作中通常会被忽略。这意味着如果一行中的所有非NaN值都是0，并且存在NaN，那么该行仍将被评估为 False。只有当至少一个非NaN值是非零时，才会被评估为 True。
   • 此操作的结果是一个布尔型Series（即 condition_mask），其中每个元素对应原始DataFrame的一行，表示该行是否满足条件。

3. np.where(condition_mask, 'y', 'n'):

   • numpy.where() 是一个条件选择函数。
   • 它接受三个参数：一个布尔条件数组（condition_mask），当条件为 True 时返回的值（'y'），以及当条件为 False 时返回的值（'n'）。
   • 它根据 condition_mask 中的布尔值，为 df['responder'] 列的每一行赋值 'y' 或 'n'。

注意事项与扩展

• 处理 NaN 值： any(axis=1) 在判断时会自动忽略 NaN 值。这意味着如果一行中只有 NaN 和 0，any() 会返回 False；如果存在非零值，即使有 NaN，也会返回 True。如果需要对 NaN 有不同的处理逻辑（例如，将 NaN 视为不满足条件），可以先使用 fillna() 或 isna() 进行预处理。
• 选择列的其他方式：
  • 精确列表： 如果列名没有规律，可以直接传递一个列表：df[['events_d1', 'events_d2', 'events_d3']]。
  • df.loc 或 df.iloc： 结合列索引进行选择，但通常不如 filter 灵活。
  • df.columns.str.contains()： 也可以创建布尔掩码来选择列，例如 df.loc[:, df.columns.str.contains('events_d') & ~df.columns.str.contains('events_d4')]。
• 其他条件：
  • 所有值满足条件： 如果需要检查所有选定列的值都大于0，可以使用 .all(axis=1)。
  • 满足特定数量： 如果需要检查至少N个列满足条件，可以先将满足条件的列转换为布尔值，然后对每行求和并与N比较。
  • 复杂条件组合： 可以通过链式操作或逻辑运算符 (&, |, ~) 组合多个布尔Series来构建更复杂的条件。

总结

通过本教程，我们学习了如何利用Pandas的filter()方法结合正则表达式高效地选择符合特定模式（包括排除模式）的列，并使用any(axis=1)方法进行行级别的条件判断。最后，通过numpy.where()实现了基于条件结果的新列赋值。这种方法不仅代码简洁，而且在处理大量列时具有很高的灵活性和效率，是Pandas数据处理中一项非常实用的技能。掌握这些技巧，将有助于您更有效地进行数据清洗和特征工程。

好了，本文到此结束，带大家了解了《Pandas根据列值生成新列技巧》，希望本文对你有所帮助！关注golang学习网公众号，给大家分享更多文章知识！