Python非线性回归：多项式特征应用教程

本文深入剖析了Python中PolynomialFeatures在非线性回归中的核心原理与实战陷阱：它通过生成高次项和交互项实现对输入特征的非线性映射，但本质仍是线性模型（参数线性），并非万能解药；其最严峻挑战是组合级维度爆炸（列数按C(n+degree, degree)增长）、训练范围外预测剧烈震荡（Runge现象）以及稀疏输入不兼容等问题；文章强调，真正关键的不是盲目调参升阶，而是结合业务理解、数据可视化与交叉验证审慎判断多项式是否适用——优先标准化、限制交互项、警惕外推，并在特征维数高或需强非线性时主动转向样条、树模型或核方法等更鲁棒的替代方案。

PolynomialFeatures 生成的特征矩阵为什么维度爆炸？

因为 PolynomialFeatures 默认会生成所有组合项（包括交互项和高次项），比如输入 2 维特征 [x1, x2]、degree=3，它会生成 [1, x1, x2, x1², x1x2, x2², x1³, x1²x2, x1x2², x2³] 共 10 列——不是简单地加平方项。维度增长是组合级的，公式为 C(n + degree, degree)，n 是原始特征数。

实操建议：

• 用 interaction_only=True 关闭高次单项（如 x₁²），只保留交互项（如 x₁x₂），适合已知变量间存在耦合但无强自身非线性的情况
• 设 include_bias=False 可省掉全 1 列，避免后续模型（如 LinearRegression）重复加截距
• 对原始特征先做标准化（StandardScaler）再传给 PolynomialFeatures，否则高次项量纲差异极大，导致 fit 不稳定或收敛慢

多项式回归拟合后 predict 得到异常大/小的值？

这不是模型“坏了”，而是多项式在训练范围外极易震荡（Runge 现象）。哪怕训练集里 x ∈ [0.5, 2.0]，只要预测时出现 x=3.0，x³ 项就可能让输出偏离几个数量级。

实操建议：

• 永远检查预测前的输入范围：用 poly.transform(X_pred) 前，确认 X_pred 的每列都在训练集对应列的 min/max 内（可用 np.clip 截断，但需业务上可接受）
• 改用 make_pipeline(StandardScaler(), PolynomialFeatures(degree=2), LinearRegression())，比手动分步更安全，避免 scaler 和 poly 的 fit/transform 错配
• 如果必须外推，换模型：考虑 sklearn.ensemble.GradientBoostingRegressor 或 SGDRegressor(loss='huber')，它们对输入范围不敏感

PolynomialFeatures + LinearRegression 真的是“非线性回归”吗？

是，但仅限于对输入特征的非线性变换；模型本身仍是线性回归——即参数线性。它拟合的是 y = w₀ + w₁x + w₂x² + w₃x³ 这种形式，其中 w 是待估参数，x, x², x³ 被当作新特征。所以它不能表达 y = w₀ + w₁sin(x) + w₂log(x) 这类任意非线性映射。

实操建议：

• 验证是否真需多项式：画出原始 x vs y 散点图，若弯曲明显且单调，degree=2 常够用；若有多峰/拐点，多项式容易过拟合，应转向样条（sklearn.preprocessing.SplineTransformer）或树模型
• 别盲目升 degree：从 2 开始，用交叉验证看 neg_mean_squared_error 是否持续改善；一旦验证误差上升，说明过拟合已发生
• PolynomialFeatures 不支持稀疏矩阵输入，若原始特征是稀疏的（如文本 TF-IDF），先 .toarray() 再处理，否则报错 TypeError: A sparse matrix was passed, but dense data is required

如何避免 Pipeline 中 PolynomialFeatures 导致的内存爆炸？

当原始特征多（比如 >50 列）且 degree≥3，生成的特征矩阵列数可达数千甚至上万，fit_transform 直接 OOM。这不是代码写错了，是组合爆炸的必然结果。

实操建议：

• 先用 VarianceThreshold 去掉低方差特征，再进 PolynomialFeatures，能显著减少无效交互项
• 用 PolynomialFeatures(degree=2, interaction_only=True, include_bias=False) 代替全组合，列数从 O(n²) 降到 O(n²) 但系数更小（实际是 n*(n−1)/2）
• 对大数据，放弃显式构造特征矩阵：改用核技巧，例如 SVR(kernel='poly', degree=2)，它隐式计算多项式核，不生成中间特征

真正难的不是调 PolynomialFeatures 的参数，而是判断“这个问题到底适不适合用多项式”。看到弯曲就加 degree，是最常见的误用起点。

本篇关于《Python非线性回归：多项式特征应用教程》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于文章的相关知识，请关注golang学习网公众号！