Pandas逐行应用函数的几种方法

本文深入探讨了在Pandas DataFrame中动态应用函数到每行的方法，旨在解决根据每行数据中指定的不同可调用对象（函数）执行相应计算的问题。传统方法如列表推导式效率低下且不符合Pandas风格。本文提出了一种高效且灵活的解决方案：**结合相关DataFrame并利用`df.apply(axis=1)`方法**。通过合并数据，定义辅助函数，并应用`apply`方法，可以避免繁琐的列表推导式，提升代码可读性和维护性。文章详细阐述了该方法的实现步骤、优势、注意事项以及性能考量，为数据分析和处理中遇到的类似问题提供了实用的解决方案，助力提升数据处理效率和代码质量。

本教程旨在解决如何在Pandas DataFrame中，根据每行数据中指定的不同可调用对象（函数），为该行执行相应的计算。我们将通过结合相关DataFrame并利用`df.apply(axis=1)`方法，高效且灵活地实现这一需求，避免了繁琐的列表推导式，提升代码的可读性和维护性。

在数据分析和处理中，我们经常会遇到需要对DataFrame的每一行应用特定操作的场景。然而，当这个操作本身并非固定，而是由行内某个字段动态决定时，传统的df.apply()或矢量化操作可能无法直接满足需求。例如，在某些业务逻辑中，我们可能需要根据参数DataFrame中存储的函数引用，对输入数据进行不同的计算。

挑战：为每行应用不同的可调用对象

考虑以下场景：我们有三个DataFrame，input_df包含输入数据，param_df包含计算所需的参数以及一个指定要应用的函数的列，output_df用于存储计算结果。目标是根据param_df中method列指定的函数，结合input_df和param_df中的其他参数，计算出每一行的结果。

原始的实现方式可能倾向于使用列表推导式进行逐行迭代，但这通常被认为不够“Pandas风格”，且对于大型数据集可能效率低下。

import pandas as pd
import numpy as np

# 定义两个不同的计算函数
def func_1(in_val, a, b):
    return in_val + a + b

def func_2(in_val, a, b):
    return in_val + (2 * (a + b))

# 初始化输入数据DataFrame
input_df = pd.DataFrame(data=[1 for row in range(10)],
                  columns=["GR"])

# 初始化输出数据DataFrame
output_df = pd.DataFrame(data=[np.nan for row in range(10)],
                  columns=["VCLGR"])

# 初始化参数DataFrame，并添加默认参数
param_df = pd.DataFrame(data=[[5, 10] for row in range(10)],
                        columns=["x", "y"])

# 为param_df添加可调用对象（函数）列
param_df["method"] = func_1
# 动态修改部分行的函数
param_df.loc[5:, "method"] = func_2

print("--- input_df ---")
print(input_df)
print("\n--- param_df ---")
print(param_df)

# 原始的列表推导式实现（不推荐）
output_df["VCLGR_list_comp"] = [param_df["method"][i](input_df["GR"][i], param_df["x"][i], param_df["y"][i])
                               for i in range(len(input_df))]

print("\n--- output_df (列表推导式) ---")
print(output_df)

上述列表推导式虽然能实现功能，但它打破了Pandas的矢量化操作范式，代码不够简洁，且可能在性能上存在瓶颈。

解决方案：利用 df.apply(axis=1)

Pandas提供了一个强大的apply方法，当配合axis=1使用时，它会将DataFrame的每一行作为一个Series传递给指定的函数。我们可以利用这一特性来解决上述问题。

核心思路如下：

1. 合并相关数据： 将所有参与计算的DataFrame（input_df和param_df）沿着列方向（axis=1）合并成一个临时DataFrame。这样做是为了确保在apply函数中，每一行都能访问到所有必要的输入数据和参数，包括要调用的函数本身。
2. 定义一个辅助函数： 创建一个函数，该函数接受一个DataFrame的行（即一个Series）作为参数。在这个函数内部，我们可以从行中提取出存储的函数引用，以及其他所需的参数，然后调用该函数并返回结果。
3. 应用辅助函数： 将这个辅助函数传递给合并后的DataFrame的apply方法，并设置axis=1。

# 定义一个辅助函数，它接受一整行数据作为输入
def indirect_callable_executor(row):
  # 从行中提取函数、输入值和参数
  callable_func = row['method']
  in_val = row['GR']
  param_a = row['x']
  param_b = row['y']
  # 调用提取出的函数并返回结果
  return callable_func(in_val, param_a, param_b)

# 合并input_df和param_df
# 注意：确保两个DataFrame的索引是对齐的，pd.concat会根据索引进行合并
combined_df = pd.concat(
    [
      param_df,
      input_df
    ],
    axis=1
  )

print("\n--- combined_df ---")
print(combined_df)

# 使用apply方法，将indirect_callable_executor应用到每一行
output_df["VCLGR_apply"] = combined_df.apply(
    indirect_callable_executor,
    axis=1
  )

print("\n--- output_df (使用 apply) ---")
print(output_df)

通过这种方法，我们得到了与列表推导式相同的结果，但代码更加简洁、更符合Pandas的惯用法。

优势与注意事项

1. 可读性与维护性： apply(axis=1)的方法将业务逻辑封装在了一个独立的函数中，使得代码意图更清晰，易于理解和维护。
2. Pandas风格： 这是一种更符合Pandas数据处理哲学的方式，能够更好地利用其内部优化，尽管apply本身在某些情况下仍可能不如完全矢量化的操作高效。
3. 数据对齐： pd.concat在合并DataFrame时会根据索引进行对齐。请确保input_df和param_df具有相同的索引，以保证数据行的正确匹配。如果索引不一致，可能需要先重置索引或进行其他对齐操作。
4. 性能考量： 尽管apply比纯Python循环（如列表推导式）通常更优，但对于非常大的数据集，apply内部仍然是迭代Python对象。如果性能是关键瓶颈，并且函数逻辑可以被矢量化（即不依赖于行特定的函数引用），则应优先考虑矢量化操作。然而，在本例中，函数本身是行特定的，apply(axis=1)通常是最佳的Pandas原生解决方案。

总结

当需要在Pandas DataFrame的每一行上应用一个动态指定的可调用对象时，将所有相关数据合并成一个临时DataFrame，并结合df.apply(axis=1)以及一个辅助函数是高效且优雅的解决方案。这种方法不仅提升了代码的可读性，也更好地融入了Pandas的数据处理范式，避免了手动迭代的复杂性和潜在性能问题。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Pandas逐行应用函数的几种方法》文章吧，也可关注golang学习网公众号了解相关技术文章。