Go Gonum optimize 怎样提供解析梯度减少函数求值

在 Gonum optimize 中，把解析梯度填入 optimize.Problem.Grad，再选择 BFGS 或 LBFGS 等使用梯度的方法，就能避免为近似梯度而反复扰动参数、重新计算目标函数。Grad 必须原地写入传入的 grad 切片，覆盖所有分量，并保持 x 不变。能否降低总耗时仍取决于求导成本、目标函数成本及收敛表现，不能只凭提供了梯度就保证更快。

官方地址：https://www.gonum.org/

按目标函数成本选择梯度方案

如果一次目标计算要扫描大量样本或运行复杂模型，数值差分为每个方向重新求值的开销可能很明显。解析梯度则把各方向导数用公式直接计算出来。维度越多，重复扰动的成本越值得观察，但前提是函数平滑、导数正确且计算导数本身合理。

如果没有提供 Grad，不能只把方法强行改为 BFGS。需要梯度的方法要求 Problem 与之匹配，Gonum 不会自动补齐解析导数。数值差分也必须由应用明确提供相应回调。

实现目标函数及解析梯度

设 a=x₀+2x₁-5，b=3x₀-x₁-1，目标函数 f=a²+2b²。根据链式法则，两个梯度分量分别是 2a+12b、4a-4b。这里 x₀、x₁ 有耦合，适合展示梯度分量必须与原函数保持一致。

在 Go 回调中写 grad[0] 与 grad[1]，不要写成 grad = []float64{...}。后者只重新绑定局部切片变量，不会把新切片交回优化器。也不要只覆盖部分分量，因为传入空间可能被复用。Problem 文档明确规定 Grad 的写入职责及 x 的只读要求。

配置 BFGS 与停止条件

package main

import (
    "fmt"
    "math"

    "gonum.org/v1/gonum/optimize"
)

func main() {
    problem := optimize.Problem{
        Func: func(x []float64) float64 {
            // 两个残差存在耦合，目标值由同一组参数计算。
            a := x[0] + 2*x[1] - 5
            b := 3*x[0] - x[1] - 1
            return a*a + 2*b*b
        },
        Grad: func(grad, x []float64) {
            a := x[0] + 2*x[1] - 5
            b := 3*x[0] - x[1] - 1
            // 原地填写每个分量，不修改 x，也不重新分配 grad。
            grad[0] = 2*a + 12*b
            grad[1] = 4*a - 4*b
        },
    }
    settings := &optimize.Settings{
        GradientThreshold: 1e-8,
        MajorIterations:   200,
        FuncEvaluations:   1000,
        GradEvaluations:   1000,
        Concurrent:        1,
    }
    // 明确选择需要梯度的 BFGS，初值长度与目标函数维度一致。
    result, err := optimize.Minimize(problem, []float64{0, 0},
        settings, &optimize.BFGS{})
    if err != nil {
        panic(err)
    }
    if result.Status.Early() {
        panic(fmt.Sprintf("提前终止: %v", result.Status))
    }
    for _, v := range result.X {
        if math.IsNaN(v) || math.IsInf(v, 0) {
            panic("非有限参数")
        }
    }
    // 这些是待运行时读取的统计，不是本文已取得的性能数据。
    fmt.Printf("x=%v f=%g status=%v\n", result.X, result.F, result.Status)
    fmt.Printf("func=%d grad=%d runtime=%v\n",
        result.FuncEvaluations, result.GradEvaluations, result.Runtime)
}

这个目标的理论最小值为零，联立 a=0 与 b=0 可得 x₀=1、x₁=2。这是数学推导的参照点，不是本文运行得到的输出。示例显式传入 BFGS 和二维初值，并给出迭代、函数与梯度求值上限，便于读者在自己的环境观察停止原因。

检查 err 后仍应读取 Status。达到上限而提前终止不等于满足所需精度，函数值变小也不意味着所有问题都找到了全局最优。这个二次目标有明确参照点；一般非凸问题还需要结合梯度范数、初值及业务约束解释结果。

BFGS 使用梯度构建曲率近似，不要求本例再提供 Hess。更高维时可考虑 LBFGS 的有限存储方式，但这属于内存与算法选择，不应凭名称判断哪种方法总是更快。

比较数值差分的真实求值成本

若要量化收益，应让解析梯度方案与数值差分方案使用相同的 Func、初值、优化方法、数据、停止阈值和求值预算。无梯度方法可以作为额外参照，但改变方法后，观察到的差异就不只来自梯度来源。

可以用 fd.Gradient构造数值差分对照。中央差分在常见逐坐标方式下，每次梯度近似需要各方向两侧的函数值；实际调用数还取决于公式与配置。不要把这个理论调用量写成已测量的加速倍数。

一个容易误读的数字是 Result.FuncEvaluations。它记录优化器发出的 Func 求值，不会自动知道你的 Grad 内部又调用了多少次目标函数。若数值差分藏在 Grad 回调中，须在底层目标实现额外计数，才有机会比较真实函数求值成本。样本扫描次数、分配量与 Runtime 也应该与停止状态一起记录。

本例设置 Concurrent 为一以便说明统计口径。未来启用并发时，底层计数和共享缓存需要同步；不能让 Func 与 Grad 共用未保护的可变临时区。

识别不适用条件与决策规则

导数公式写错时，梯度方法可能朝错误方向移动，线搜索也可能失败；数值差分则受步长和变量尺度影响。对不连续、含离散分支或噪声很大的目标，先确认所选算法对函数的要求，不要用不可靠导数换取表面上较少的调用次数。

填了 Grad 会自动减少迭代次数吗？不会保证。解析梯度避免的是差分求导所需的额外目标调用；迭代和线搜索表现仍与问题及算法相关。

Grad 可以修改 x 复用空间吗？不可以。应将结果写入 grad；修改输入会破坏优化器对当前位置的理解。

FuncEvaluations 少就一定更快吗？不一定。必须把梯度计算开销、Grad 内部调用、内存分配与最终精度一并比较。

这个题目的关键选择是：当目标平滑且解析求导成本合适时，明确提供 Grad 并采用匹配的优化方法；随后按真实底层求值成本判断收益，而不是把库统计中的单个计数当成全部成本。