Python计算两组数据相关系数的方法

本文深入解析了Python中计算两组数据Pearson相关系数的两种核心方法——pandas.DataFrame.corr适用于快速获取多列数值变量间的对称相关矩阵，自动忽略非数值列并灵活处理缺失值；而scipy.stats.pearsonr则专精于严格校验下的两组等长一维数据，同时返回相关系数与p值，是统计显著性分析的可靠选择；文章不仅厘清二者在NaN处理、输入要求、错误行为和性能表现上的关键差异，还通过典型示例和常见踩坑场景（如混用导致结果不一致、类型不匹配、静默失败等）帮助读者精准选型、避坑提效。

直接用 pandas.DataFrame.corr 或 scipy.stats.pearsonr，但二者行为不同：前者默认处理整个 DataFrame 的列间关系，后者严格计算两组一维数据的 Pearson 相关系数和 p 值。

用 pandas.DataFrame.corr 计算多列间的 Pearson 系数

适合已有表格结构（如 CSV 加载后的 pd.DataFrame），想快速看所有数值列两两之间的相关性。

• 默认只对数值列生效，非数值列（如字符串、时间戳）自动被忽略
• 参数 method='pearson' 是默认值，可省略；也可设为 'spearman' 或 'kendall'
• 返回的是对称矩阵（DataFrame），对角线恒为 1.0，df.corr().iloc[0, 1] 就是第 0 列和第 1 列的 Pearson 系数
• 若含缺失值（NaN），默认用 pairwise 删除法（每对列单独删 NaN 后计算），不是全局删行

示例：

import pandas as pd
df = pd.DataFrame({'x': [1, 2, 3, 4], 'y': [2, 4, 6, 8], 'z': [1, 0, 1, 0]})
print(df.corr(method='pearson'))

用 scipy.stats.pearsonr 精确计算两个数组的 Pearson 系数

当你明确只有两组等长的一维数据（比如两个 list、numpy.ndarray 或 pandas.Series），且需要 p 值做显著性判断时，必须用这个。

• 输入必须是长度相等的一维序列，否则报错 ValueError: The input must be one-dimensional.
• 会自动剔除成对的 NaN（即两个数组同一位置都是 np.nan 才跳过），但不处理单边 NaN —— 那会直接报错
• 返回元组：(r_value, p_value)，其中 r_value 就是 Pearson 系数，范围 [-1, 1]
• 如果输入含无穷值（inf）或方差为 0（所有值相同），会返回 (nan, nan) 或警告

示例：

from scipy.stats import pearsonr
x = [1, 2, 3, 4]
y = [2, 4, 6, 8]
r, p = pearsonr(x, y)
print(f"r={r:.3f}, p={p:.3f}")  # r=1.000, p=0.000

常见错误：混用 corr 和 pearsonr 导致结果不一致

最常踩的坑是拿 df['col_a'].corr(df['col_b']) 和 pearsonr(df['col_a'], df['col_b']) 对比，发现数值微小差异甚至报错 —— 这通常是因为：

• df['col_a'].corr(...) 内部调用的是 numpy.corrcoef，对 NaN 处理策略与 pearsonr 不完全一致
• 若某列含 object 类型（比如混合了数字和字符串），df['col'].corr() 可能静默失败或返回 NaN，而 pearsonr 会直接抛 TypeError
• 用 df.corr() 得到矩阵后取值，误用了 .loc 但列名类型不匹配（比如列是 int 而不是 str），导致 KeyError

性能与兼容性注意点

小数据（

• df.corr() 在 float64 上优化较好，但若 DataFrame 含大量非数值列，预处理开销明显
• pearsonr 对输入做较多校验（如检查方差、是否一维），纯数值数组下比手写 np.corrcoef 稍慢，但胜在结果带 p 值
• Python 3.9+、pandas ≥ 1.5、scipy ≥ 1.8 是较稳妥的组合；旧版本中 pearsonr 对全零数组可能崩溃，新版本已修复

真正容易被忽略的是：相关系数只能反映线性趋势强度，不等于因果；且对异常值极度敏感 —— 一个离群点就能让 r 从 0.2 拉到 0.8，动手前先画个散点图。

以上就是《Python计算两组数据相关系数的方法》的详细内容，更多关于的资料请关注golang学习网公众号！