Python线性回归实现教程

本文深入剖析了scikit-learn中LinearRegression的底层机制与实战陷阱，明确指出它**唯一且默认采用标准最小二乘法**（非可选配置），不支持solver参数、无内置正则化、不自动标准化，并重点警示新手高频踩坑点：X必须为二维数组（一维特征需reshape(-1,1)）、predict恒输出1D结果、coef_与intercept_的形状规律、特征顺序与列名一致性风险等——看似简单的线性回归，真正制约建模效率和准确性的，往往不是算法本身，而是数据形态、维度匹配与API行为细节的精准把控。

scikit-learn 的 LinearRegression 默认就是最小二乘法

它不是“一种可选方法”，而是唯一实现方式——LinearRegression 底层调用的是 scipy.linalg.lstsq 或 LAPACK 的 dgelss，纯正最小二乘求解。不用手动设参数，也不支持换其他损失函数（比如 Huber 或 L1）。

常见错误是以为要传 solver='lsqr' 或类似参数，其实那属于 SGDRegressor 或 Ridge 的配置项；对 LinearRegression 来说，加了反而报错：TypeError: __init__() got an unexpected keyword argument 'solver'。

• 只管拟合，不自动中心化或缩放特征——如果你的特征量纲差三四个数量级，系数会难解释，但不影响预测效果
• 没有内置正则项，遇到多重共线性时 .coef_ 可能剧烈震荡，甚至出现 nan（极少数病态矩阵下）
• 想加 L2 正则？直接换 Ridge，别硬改 LinearRegression

fit() 前必须确保 X 是二维数组，否则报 ValueError: Expected 2D array, got 1D array instead

这是新手掉进最多的一次坑：把一列特征写成 y = model.fit(x, y)，其中 x 是 shape 为 (n,) 的 numpy.ndarray。sklearn 所有模型都要求输入特征是二维结构，哪怕只有一列。

正确做法：

• 单特征一维数组转二维：x.reshape(-1, 1) 或 x[:, np.newaxis]
• 用 pandas 时注意：df['col'] 返回 Series（一维），得写成 df[['col']]（DataFrame，二维）
• 如果误用了 np.array([1,2,3]) 直接传入，fit() 不会帮你升维，也不会静默容忍

predict() 输出永远是 1D 数组，不管 X 是 1 行还是 1000 行

model.predict(X) 的返回值 shape 总是 (n_samples,)，不是 (n_samples, 1)。这点和 fit_transform() 类方法不同，容易在拼接预测结果和原始 DataFrame 时出错。

典型问题场景：

• 你拿 df['pred'] = model.predict(X) 赋值，结果列长度对不上——大概率是 X 维度错了，而不是 predict 返回格式异常
• 想和真实标签 y_true 一起算 MSE？确保两者都是 1D 且等长：mean_squared_error(y_true, y_pred) 要求两个输入维度一致
• 不需要手动 .flatten() 或 .ravel()，它本来就是扁平的；但如果你做了 .reshape(1, -1) 反而会让后续计算报错

intercept_ 和 coef_ 的形状取决于输入 X 的列数，别硬套公式 y = ax + b

当 X 有多个特征时，coef_ 是 1D 数组，长度等于特征数；intercept_ 永远是标量（float）。没有“每个特征一个截距”这种事。

容易混淆的点：

• 你以为 coef_[0] 对应第一个变量，就去手写 y_hat = coef_[0] * x1 + coef_[1] * x2 + intercept_ ——没错，但前提是 x1, x2 都是同长度 1D 向量，且顺序和训练时列顺序严格一致
• 如果训练用的是 pd.DataFrame，列名顺序变了（比如先读 CSV 再重排列），coef_ 顺序不会跟着变，得靠 model.feature_names_in_（>=1.2 版本）核对
• 老版本 sklearn 不提供 feature_names_in_，此时只能靠训练时传入的 X 的 .columns 或 .shape[1] 推断，不能靠变量名猜

复杂点在于：线性回归本身简单，但数据进出的形状、命名、顺序这些外围环节，才是实际项目里最常打断节奏的地方。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python线性回归实现教程》文章吧，也可关注golang学习网公众号了解相关技术文章。