DataFrame遍历效率低的常见原因解析

Python DataFrame逐行遍历（如iterrows()、apply(axis=1)）效率极低，并非代码写法问题，而是因其列式存储结构和向量化设计本质决定的：每次“取一行”都需跨列拼装、频繁对象创建、解释器开销及内存跳转，导致性能比NumPy向量化操作慢10–100倍；真正高效的写法不是优化遍历，而是彻底避免遍历——优先使用列级向量化运算、内置聚合方法或NumPy函数，让计算下沉到C/Fortran底层，释放SIMD与内存连续性优势；记住，能写成一整列表达式的操作，几乎都不该用循环。

因为 DataFrame 的设计目标不是逐行遍历，而是面向向量化的批量操作。用 for row in df.iterrows() 或 df.apply()（尤其 axis=1）这类方式，本质上是把底层优化的 C/Fortran 数值计算退化为 Python 层的循环，丢失了 NumPy 的内存连续性、SIMD 指令和底层循环展开等关键加速机制。

底层数据结构不支持高效单行访问

Pandas DataFrame 是按列存储（column-major）的，每列是一个独立的 NumPy 数组。当你调用 iterrows() 时，它需要为每一行临时拼装一个包含各列对应位置元素的 Series —— 这涉及多次内存跳转、类型检查、索引对齐和对象封装，开销远超直接读取整列。

• df.iloc[i] 看似简单，实际要检查索引类型、处理缺失值、构造新 Series 对象
• df.loc['row_label'] 还要额外做哈希查找或二分搜索定位位置
• 每次迭代都新建 Python 对象，触发频繁的内存分配与 GC

Python 解释器本身限制了循环速度

CPU 在执行纯 Python 循环时，每一步都要经过解释器字节码调度、动态类型判断、引用计数更新等操作。哪怕只是 sum(row['A'] * row['B'])，也要为每个 row 做属性查找、类型推断、运算符分发——而同样的计算用 df['A'] * df['B'] 直接交给 NumPy，就变成一条紧凑的 C 循环，甚至自动向量化。

• 纯 Python 循环通常比等效 NumPy 向量化操作慢 10–100 倍，数据量越大差距越明显
• apply(func, axis=1) 表面简洁，但 func 若是 Python 函数，仍逃不开逐行调用开销

替代方案：用对方法，性能差十倍变快百倍

真正提速的关键不是“怎么遍历更快”，而是“根本不遍历”。优先使用：

• 向量化运算：如 df['C'] = df['A'] + df['B']、df['flag'] = df['score'] > 80
• 内置方法：如 df.groupby().agg()、df.rolling().mean()、df.replace()，它们内部调用高度优化的 C 实现
• NumPy 函数：对数值列直接用 np.log(df['x'])、np.where(df['y'] > 0, 1, 0)
• 真需逻辑复杂且无法向量化的场景，考虑 numba.jit 编译或转成 Polars/Modin 等更现代的 DataFrame 库

不复杂但容易忽略：写完一行遍历代码前，先问自己——这个操作能不能写成一整列的表达式？答案往往是肯定的。

到这里，我们也就讲完了《DataFrame遍历效率低的常见原因解析》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！