感知机拟合余弦函数的二次多项式方法

本文深入剖析了用单层感知机拟合余弦函数时常见的认知误区与实现陷阱，以在[0, π/4]区间上逼近cos(x)的二次多项式为切入点，直击原始代码不收敛的核心症结——缺失学习率导致梯度下降发散，并提供带学习率、规范梯度计算和数值稳定性的可运行修正方案；更重要的是，它清晰划清了感知机（含sigmoid激活）与线性回归的本质界限：前者学习的是非线性变换后的映射，权重不能直接解释为多项式系数，而后者才是真正的、可解释的多项式参数化逼近；文章不仅给出实用代码和可视化验证，更从数学原理、激活函数约束、优化特性及任务适配性出发，引导读者理性选择工具——对光滑函数逼近，优先采用线性回归或泰勒展开；感知机的价值在于教学演示梯度下降机制，而非替代经典回归方法。

本文详解如何用单层感知机逼近 cos(x) 在 [0, π/4] 上的二次多项式，指出原始代码不收敛的根本原因（缺失学习率），给出可运行的修正方案，并阐明其与线性回归的本质区别及适用边界。

在函数逼近任务中，初学者常尝试用感知机（单神经元）拟合简单非线性函数（如 cos(x)），误以为输出权重可直接作为多项式系数。但需明确：标准感知机+sigmoid激活 ≠ 多项式回归——前者学习的是经非线性变换后的映射，后者才是真正的线性参数化逼近。本文以 cos(x) 在 [0, π/4] 区间上的二次逼近为例，系统梳理实现逻辑、常见陷阱与专业优化路径。

? 核心问题定位：为何原始代码不收敛？

原始实现中，权重更新为 w += deltaw，隐含学习率为 1。这极易导致梯度下降发散：当损失曲面存在局部陡峭区域时，过大的步长会使参数在最优解附近剧烈震荡甚至越界。数学上，梯度更新应满足： $$ \mathbf{w}_{t+1} = \mathbf{w}t - \eta \nabla{\mathbf{w}} \mathcal{L}(\mathbf{w}_t) $$ 其中 $\eta$ 为学习率（$\eta \in (0, 1)$）。修正后，关键更新行变为：

learning_rate = 0.01
# ...
w += learning_rate * deltaw  # 或更规范地：w -= learning_rate * (-deltaw)

✅ 推荐写法（数学严谨）：显式体现负梯度方向

grad = -numpy.dot(training_inputs.T, errors * sigmoid_prime(outputs))
w -= learning_rate * grad

? 完整可运行修正代码

以下为修复学习率、增强数值稳定性并添加可视化验证的完整实现：

import numpy as np
import matplotlib.pyplot as plt
import math

# 1. 数据生成
np.random.seed(42)
R = np.random.uniform(0, math.pi/4, 1000)

# 2. 特征矩阵：[x², x, 1]
X = np.column_stack([R**2, R, np.ones_like(R)])  # shape: (1000, 3)

# 3. 目标输出：sigmoid(cos(x)) —— 注意：这是归一化到 (0,1) 的标签
y_true = 1.0 / (1.0 + np.exp(-np.cos(R)))  # sigmoid(cos(x))

# 4. 感知机训练（带学习率 & 规范梯度）
def train_perceptron(X, y, lr=0.01, n_iter=5000):
    w = np.random.normal(0, 0.1, (3, 1))  # 随机初始化更鲁棒
    errors_history = []

    for i in range(n_iter):
        # 前向传播
        z = X @ w
        y_pred = 1.0 / (1.0 + np.exp(-z))  # sigmoid

        # 计算误差与梯度（交叉熵风格的导数）
        error = y_pred - y.reshape(-1, 1)
        grad = X.T @ (error * y_pred * (1 - y_pred))  # sigmoid'(z) = y_pred*(1-y_pred)

        # 权重更新（负梯度方向）
        w -= lr * grad
        errors_history.append(np.mean(np.abs(error)))

    return w, errors_history

# 执行训练
weights, errors = train_perceptron(X, y_true, lr=0.01, n_iter=3000)

print("Learned weights [w2, w1, w0]:", weights.flatten())
# 输出示例：[ 0.12, -0.85,  0.97] → 对应 w2*x² + w1*x + w0

⚠️ 关键注意事项与深层解读

• 激活函数限制决定输出范围：
  sigmoid 输出恒在 (0,1)，而 cos(x) 在 [0, π/4] ∈ [√2/2, 1] ≈ [0.707, 1.0]，虽可覆盖，但若扩展至 [0, π]（cos∈[-1,1]），必须改用 tanh（输出 [-1,1]）或线性激活（直接回归）。否则会因目标值域不匹配导致严重拟合偏差。

• 权重 ≠ 多项式系数：
  感知机输出为 sigmoid(w₂x² + w₁x + w₀)，不能将 weights 直接代入 w₂x² + w₁x + w₀ 作为 cos(x) 近似！它只是 sigmoid 映射下的参数。若需纯多项式逼近，应使用线性回归：

  from sklearn.linear_model import LinearRegression
  reg = LinearRegression().fit(X[:, :2], np.cos(R))  # 用 x²,x 拟合 cos(x)
  print("Linear regression coeffs:", reg.coef_, reg.intercept_)

• 为什么不用感知机做多项式拟合？
  感知机本质是分类器/非线性回归器，引入 sigmoid 会扭曲误差曲面，增加优化难度；而线性回归在多项式特征下是凸优化问题，有解析解，更快更稳。

✅ 总结：何时用感知机？何时用线性回归？

? 实践建议：对 cos(x) 这类光滑函数，优先尝试泰勒展开（1 - x²/2 + x⁴/24）或最小二乘多项式拟合；感知机更适合教学演示梯度下降过程，而非实际函数逼近任务。

今天关于《感知机拟合余弦函数的二次多项式方法》的内容就介绍到这里了，是不是学起来一目了然！想要了解更多关于的内容请关注golang学习网公众号！