Scikit-learn逻辑回归概率处理方法

本篇文章给大家分享《Scikit-learn逻辑回归概率对齐Pandas方法》，覆盖了文章的常见基础知识，其实一个语言的全部知识点一篇文章是不可能说完的，但希望通过这些问题，让读者对自己的掌握程度有一定的认识(B 数)，从而弥补自己的不足，更好的掌握它。

本文旨在解决使用Scikit-learn逻辑回归模型预测概率时，如何确保预测结果与原始Pandas数据帧的行正确对齐的问题。核心在于理解`predict_proba`的输出特性，并在创建包含预测概率的DataFrame时，显式地利用原始输入数据帧的索引，随后通过`pd.concat`进行可靠的列合并，从而避免数据错位，保证分析结果的准确性。

在进行机器学习任务时，我们经常需要将模型的预测结果（例如分类模型的概率输出）重新合并到原始数据集中，以便进行后续分析或报告。然而，在Scikit-learn的LogisticRegression模型中，predict_proba方法返回的是一个NumPy数组，它不包含任何索引信息。如果处理不当，将这些概率值附加到Pandas DataFrame时，可能会出现预测值与原始数据行错位的问题，导致分析结果出现偏差。

理解Scikit-learn predict_proba的输出

Scikit-learn的分类模型（如LogisticRegression）的predict_proba方法，用于获取每个样本属于各个类别的概率。它的输出是一个形状为(n_samples, n_classes)的NumPy数组。这个数组的每一行对应于输入数据中的一个样本，每一列对应于一个类别的预测概率。重要的是，这个NumPy数组是无索引的，其行的顺序严格对应于传入predict_proba方法的输入数据的行的顺序。

潜在的对齐问题

当我们将predict_proba的输出转换为Pandas DataFrame时，如果直接使用pd.DataFrame(y_pred_array, columns=...)，Pandas会默认创建一个从0开始的RangeIndex。如果原始数据帧（ret_df）在经过特征选择或预处理后，其索引已经不是默认的RangeIndex，或者在某些操作中被重新排序，那么简单地通过pd.merge(..., left_index=True, right_index=True)尝试合并，就可能因为索引不匹配而导致数据错位。即使原始数据帧也是RangeIndex，如果中间有任何操作导致行顺序发生变化，同样会出问题。

例如，原始问题中提供的代码片段：

y_pred = lm.predict_proba(ret_df[ind_cols].to_pandas())
y_final = pd.DataFrame(y_pred, columns=['Prob_0', 'Prob_1']) # 此时y_final有默认RangeIndex
ret_df_out = pd.merge(ret_df.to_pandas(), y_final, how='left', left_index=True, right_index=True)

这里的关键在于y_final在创建时会生成一个新的RangeIndex。如果ret_df.to_pandas()（或其子集ret_df[ind_cols].to_pandas()）的索引不是默认的RangeIndex，或者其行的顺序在某些操作中发生了改变，那么pd.merge将无法正确地将预测概率与原始数据行对齐。

解决方案：确保索引一致性

解决这个问题的核心原则是：在将预测概率转换为Pandas DataFrame时，显式地为其指定与用于预测的输入数据帧相同的索引。 这样可以确保预测结果的每一行都与原始数据帧的相应行在逻辑上绑定。

以下是推荐的实现步骤和代码示例：

步骤1：准备用于预测的数据帧并保留其索引

首先，从原始数据帧中提取用于预测的特征列，并确保这一步操作保留了原始数据帧的索引。

import pandas as pd
from sklearn.linear_model import LogisticRegression
import numpy as np

# 假设ret_df是您的原始DataFrame
# 为了演示，我们创建一个示例ret_df
data = {
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100),
    'target': np.random.randint(0, 2, 100)
}
ret_df = pd.DataFrame(data)
# 模拟一个非默认索引，例如，打乱索引或设置自定义索引
ret_df = ret_df.set_index(pd.Series(np.random.permutation(100) + 1000))
# 或者简单地打乱一下，让索引不是0,1,2...
# ret_df = ret_df.sample(frac=1, random_state=42)

ind_cols = ['feature1', 'feature2'] # 预测变量列
dep_col = 'target' # 响应变量列

# 模拟训练一个逻辑回归模型
# 通常您会用训练集X_train, y_train来训练
X_train = ret_df[ind_cols]
y_train = ret_df[dep_col]
lm = LogisticRegression(fit_intercept=True)
lm.fit(X_train, y_train)

# 提取用于预测的数据，并确保保留其原始索引
df_for_prediction = ret_df[ind_cols] # 这一步已经保留了ret_df的索引

步骤2：生成预测概率

使用训练好的模型对准备好的数据进行预测，predict_proba会返回一个NumPy数组。

y_pred_probs = lm.predict_proba(df_for_prediction)

步骤3：创建包含预测概率的DataFrame，并指定原始索引

这是关键一步。在创建包含预测概率的DataFrame时，显式地使用df_for_prediction的索引。

y_final_df = pd.DataFrame(y_pred_probs, columns=['Prob_0', 'Prob_1'], index=df_for_prediction.index)

通过index=df_for_prediction.index，我们确保了y_final_df的每一行都与df_for_prediction（以及原始ret_df中对应的行）具有相同的唯一标识符。

步骤4：使用 pd.concat 合并数据帧

当两个或多个DataFrame具有相同且对齐的索引时，pd.concat是合并它们的推荐方法，尤其是当您想按列（axis=1）合并时。它比pd.merge更直接，且不易出错。

# 将原始特征和预测概率合并
result_df = pd.concat([df_for_prediction, y_final_df], axis=1)

# 如果您想将预测概率合并到完整的ret_df中，可以这样做：
# result_df = pd.concat([ret_df, y_final_df], axis=1)
# 注意：这里假设ret_df和y_final_df的索引是完全对齐的，且y_final_df是ret_df中所有行的预测。
# 如果y_final_df只包含ret_df的一个子集的预测，则需要使用merge。
# 但通常情况下，我们是对整个ret_df进行预测，因此concat是合适的。

print(result_df.head())

完整代码示例：

import pandas as pd
from sklearn.linear_model import LogisticRegression
import numpy as np

# 1. 模拟原始数据帧 ret_df
data = {
    'feature1': np.random.rand(100),
    'feature2': np.random.rand(100),
    'feature3': np.random.rand(100),
    'target': np.random.randint(0, 2, 100)
}
ret_df = pd.DataFrame(data)
# 模拟一个非默认索引，以验证对齐的鲁棒性
ret_df = ret_df.set_index(pd.Series(np.random.permutation(100) + 1000))
print("原始 ret_df (部分):")
print(ret_df.head())
print("\n原始 ret_df 索引类型:", type(ret_df.index))

ind_cols = ['feature1', 'feature2', 'feature3'] # 预测变量
dep_col = 'target' # 响应变量

# 2. 训练逻辑回归模型
# 通常会使用训练集进行训练，这里为了演示直接使用ret_df
X_train = ret_df[ind_cols]
y_train = ret_df[dep_col]

lm = LogisticRegression(fit_intercept=True, solver='liblinear', random_state=42)
lm.fit(X_train, y_train)

# 3. 准备用于预测的数据，并确保保留其原始索引
df_for_prediction = ret_df[ind_cols]
print("\n用于预测的数据 df_for_prediction (部分):")
print(df_for_prediction.head())
print("\ndf_for_prediction 索引类型:", type(df_for_prediction.index))

# 4. 生成预测概率
y_pred_probs = lm.predict_proba(df_for_prediction)
print("\n预测概率 NumPy 数组形状:", y_pred_probs.shape)

# 5. 创建包含预测概率的DataFrame，并显式指定原始索引
y_final_df = pd.DataFrame(y_pred_probs, columns=['Prob_0', 'Prob_1'], index=df_for_prediction.index)
print("\n预测概率 DataFrame y_final_df (部分):")
print(y_final_df.head())
print("\ny_final_df 索引类型:", type(y_final_df.index))

# 6. 使用 pd.concat 合并原始数据帧和预测概率
# 如果只合并特征和概率：
# result_df = pd.concat([df_for_prediction, y_final_df], axis=1)

# 如果想将概率合并到完整的原始ret_df中，可以这样做：
# 确保ret_df和y_final_df的索引完全匹配
result_df_full = pd.concat([ret_df, y_final_df], axis=1)

print("\n最终合并结果 result_df_full (部分):")
print(result_df_full.head())
print("\n检查合并后的索引是否一致:")
print("原始 ret_df 的第一个索引:", ret_df.index[0])
print("y_final_df 的第一个索引:", y_final_df.index[0])
print("result_df_full 的第一个索引:", result_df_full.index[0])

注意事项与最佳实践

1. 索引的重要性：在Pandas中，索引是数据对齐的关键。任何时候从DataFrame中提取数据进行操作，并计划将其结果合并回原DataFrame时，都应特别注意索引的保留和利用。
2. to_pandas()的谨慎使用：如果您的原始数据来自其他系统（例如PySpark DataFrame），to_pandas()可能会重置索引。在这种情况下，请确保在调用to_pandas()之后，立即保存或重新设置一个有意义的索引，或者在处理过程中始终使用该索引。
3. pd.concat vs pd.merge：
   • 当您确定两个DataFrame的行数相同且索引完全对齐时（即它们是基于相同原始数据或其子集生成的，且行顺序未变），使用pd.concat([df1, df2], axis=1)是添加新列最简洁和高效的方式。
   • 当需要基于一个或多个键列进行灵活的合并（例如，根据ID合并不同来源的数据），或者处理索引不完全匹配的情况时，pd.merge提供了更强大的功能。
4. 调试：如果仍然怀疑对齐问题，可以通过打印df_for_prediction.index和y_final_df.index来检查它们的类型和前几项，确保它们确实是相同的。

总结

正确地将Scikit-learn模型预测的概率值重新对齐到原始Pandas DataFrame是数据科学工作流中一个看似简单却容易出错的环节。通过理解predict_proba的输出特性，并在创建包含预测概率的DataFrame时显式地利用原始输入数据帧的索引，我们可以有效避免数据错位。结合pd.concat这一强大工具，可以确保数据合并的准确性和鲁棒性，为后续的数据分析和决策提供坚实的基础。始终保持对数据索引的警惕，是构建可靠数据管道的关键。

今天关于《Scikit-learn逻辑回归概率处理方法》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！