Scikit-learn用LinearRegression实现最小二乘法

Scikit-learn 的 LinearRegression 本质上就是普通最小二乘法（OLS）的高效封装，直接调用底层数值库求解解析解 $(X^TX)^{-1}X^Ty$，无需手动实现或额外指定；它专注预测而非统计推断——不提供 p 值、标准误或假设检验，R² 计算也默认基于中心化总平方和；当遇到多重共线性时会发出警告但仍返回 OLS 解，而强制 `fit_intercept=False` 会改变模型含义与 R² 定义；与 statsmodels 的差异源于设计目标不同：前者追求工程效率与泛化能力，后者面向统计建模；面对大数据或高维场景，需转向 SGDRegressor 或降维策略——理解这些边界，才能真正用对最小二乘。

LinearRegression 默认就是最小二乘法

Scikit-learn 的 LinearRegression 模型默认用的就是普通最小二乘（Ordinary Least Squares, OLS），不是梯度下降、不是岭回归，就是教科书里那个解析解：$(X^TX)^{-1}X^Ty$。只要你没手动设 fit_intercept=False 或改用 Ridge 等变体，它就在跑最小二乘。

常见误解是以为要“手动实现”或“指定方法”，其实不用——LinearRegression 就是 OLS 的封装，底层调用的是 scipy.linalg.lstsq 或 numpy.linalg.lstsq，数值稳定且高效。

• 如果数据维度不高（比如特征数 LinearRegression().fit(X, y) 即可
• 若 X 接近奇异（多重共线性严重），LinearRegression 会发出 RuntimeWarning: internal gelsd driver rcond 警告，但不会报错；此时解可能不稳定，但仍是 OLS 解
• 想看系数是否显著？LinearRegression 不提供 p 值或 R² 的统计检验——它只做预测，不做推断

fit_intercept=False 时的最小二乘含义变了

默认 fit_intercept=True，模型拟合的是 $y = X\beta + \beta_0 + \varepsilon$；设成 False 后，强制过原点，解变成 $\min_\beta \|y - X\beta\|^2$，仍是 OLS，但约束了截距为 0。

这个改动影响很大：

• R² 计算逻辑会变（分母从 y 的方差变成 y² 的均值），可能导致负 R²，别慌，这是正常现象
• 如果真实关系确实不过原点，强制 fit_intercept=False 会让残差系统性偏移，系数估计有偏
• 某些场景如物理建模要求零截距（比如电压=电阻×电流），这时才该关掉

和 statsmodels 的 OLS 结果不一致？先看这三点

很多人拿 LinearRegression 和 statsmodels.api.OLS 对比，发现系数一样但标准误、p 值、R² 数值不同——这不是 bug，是设计目标差异：

• LinearRegression 不计算协方差矩阵，也不假设误差服从正态分布；statsmodels.OLS 默认做完整统计推断，需要显式调用 .fit() 才生成 t 统计量
• LinearRegression.score() 返回的是决定系数 $R^2 = 1 - \frac{SS_{res}}{SS_{tot}}$，其中 $SS_{tot}$ 是以均值为中心的总平方和；而 statsmodels 的 .rsquared 在 fit_intercept=False 时用的是未中心化版本，所以数值不同
• 如果你真需要标准误，别硬套 sklearn——要么切 statsmodels，要么手动用 np.linalg.inv(X.T @ X) 估算（注意：需保证满秩且无缩放）

大数据量下 LinearRegression 可能爆内存或变慢

当 X 行数或列数上万时，LinearRegression.fit() 会构造 $(X^TX)$ 矩阵并求逆，时间和空间复杂度都是 $O(n p^2 + p^3)$，容易卡住或 OOM。

• 替代方案：用 sklearn.linear_model.SGDRegressor(loss='squared_error', learning_rate='constant') 模拟 OLS 迭代过程，支持 partial_fit，适合流式或超大 X
• 或者先用 TruncatedSVD 降维，再喂给 LinearRegression，但会损失部分解释性
• 注意：SGDRegressor 的结果不是精确 OLS 解，而是近似，收敛依赖学习率和迭代次数，需调 max_iter 和 tol

最小二乘本身很简单，但“用对”取决于你清楚自己要的是预测精度、系数解释性，还是统计推断——sklearn 只管前两者，第三种需求得换工具链。别在 LinearRegression 里找 p 值，也别因 warning 就怀疑结果失效，先看警告来源和数据条件。

以上就是《Scikit-learn用LinearRegression实现最小二乘法》的详细内容，更多关于的资料请关注golang学习网公众号！