Captum SmoothGrad 与 SmoothGradSquared 有什么区别

在 Captum 里用 NoiseTunnel 给归因结果做平滑时，smoothgrad 和 smoothgrad_sq（SmoothGradSquared）看起来只差一个参数，实际表达的是两种不同的问题：前者保留归因的正负方向，后者更关注响应幅度。官方地址：https://captum.ai/

简单来说SmoothGrad是对输入叠加小高斯噪声后多次求梯度再取算术平均，SmoothGradSquared是对噪声样本的梯度先做平方运算再取平均，后者输出的归因图噪声更低、对高频特征的响应更稳定。

两种模式到底改变了哪一步

先把共同部分固定下来。NoiseTunnel 会对每个输入样本加入零均值高斯噪声，重复生成 nt_samples 个扰动样本，再对每个扰动样本调用传入的归因算法，例如 Integrated Gradients、Saliency 或 Conductance。stdevs 控制噪声标准差，nt_samples_batch_size 则控制一次处理多少个扰动样本，主要用于降低峰值内存。

两种模式只在最后的聚合表达式上不同。设同一个特征在第 i 次扰动后的归因为 a_i：

smoothgrad      = (a₁ + a₂ + ... + aₙ) / n
smoothgrad_sq   = (a₁² + a₂² + ... + aₙ²) / n
# 前者求原始归因均值，后者先平方再求均值；这里的 n 是 nt_samples。

这也是为什么它们不是“一个更平滑、一个更平滑”的简单开关：输入扰动和底层归因算法可以相同，但最后对归因张量的统计含义已经变了。

为什么平方后均值会丢掉正负号

假设某个特征在三次扰动下得到 +0.8、-0.6 和 +0.2。使用 smoothgrad 时，结果是约 +0.13；正贡献与负贡献会发生抵消。使用 smoothgrad_sq 时，结果是 (0.64 + 0.36 + 0.04) / 3 = 0.347，结果变为非负，并且大幅度响应被明显保留下来。

因此，smoothgrad 更适合回答“这个特征总体把输出往哪个方向推”；smoothgrad_sq 更适合回答“这个特征是否持续出现强烈响应”。后者的代价是方向信息被压平：+0.8 和 -0.8 平方后相同，不能仅凭结果判断它是支持目标还是抑制目标。

用同一个归因方法切换两种结果

下面用同一个 IntegratedGradients 实例对比两次调用。示例只展示调用方式，不假设已经运行出某个具体模型结果；target 应替换为你的目标类别或输出位置。

import torch
from captum.attr import IntegratedGradients, NoiseTunnel

# forward_func 接收输入并返回模型输出；这里用项目自己的分类模型替换。
model = build_model()
model.eval()

# 先固定底层归因算法，保证两次比较只改变 nt_type。
ig = IntegratedGradients(model)
nt = NoiseTunnel(ig)
inputs = load_batch().requires_grad_()

# 原始均值保留正负方向，适合观察特征对目标输出的推动或抑制。
smooth = nt.attribute(
    inputs,
    nt_type="smoothgrad",
    nt_samples=20,
    nt_samples_batch_size=5,
    stdevs=0.1,
    target=target_index,
)

# 平方后均值突出响应幅度，但不能再从符号判断支持还是抑制。
smooth_sq = nt.attribute(
    inputs,
    nt_type="smoothgrad_sq",
    nt_samples=20,
    nt_samples_batch_size=5,
    stdevs=0.1,
    target=target_index,
)

# 两个返回张量的形状都与 inputs 对应，便于按特征位置继续可视化。
print(smooth.shape, smooth_sq.shape)

这里把 nt_samples、stdevs 和分批大小保持一致，是为了让对比集中在聚合方式，而不是混入采样数量或噪声强度差异。若底层算法支持 convergence delta，返回值还可能包含对应的 delta；它属于归因算法的近似误差信息，不是 SmoothGrad 与 SmoothGradSquared 的区别本身。

参数和资源边界：先固定采样，再谈结果

还有一个容易忽略的边界：如果输入是元组，所有输入 Tensor 的第 0 维都应代表样本，并且多输入之间要正确对齐。stdevs 也可以传元组，让不同输入使用不同噪声标准差；不要把图像、文本或数值特征的尺度差异误认为两种聚合模式的差异。

怎么选：看你要解释方向还是找强度

如果报告需要回答“哪些特征支持这个类别、哪些特征压低这个类别”，先选 smoothgrad，并保留正负值。它的结果更接近带方向的归因平均，但要注意相反方向的贡献可能抵消。

如果任务是筛选最活跃的输入区域、找出对模型最敏感的特征，或者后续只需要按强弱排序，可以选 smoothgrad_sq。这时最好把它描述为“响应强度”而不是“支持程度”；若仍需知道方向，应同时保留一份原始归因结果，不能从平方后的结果反推符号。

一句话记忆：smoothgrad 看平均方向，smoothgrad_sq 看平均平方幅度。两者可以使用同一个底层归因方法、同一组采样参数，通过并列调用建立可解释性对照。

常见问题

SmoothGradSquared 的结果为什么全是非负数？

因为每个采样归因先做平方再求均值，负数的方向被移除了。非负并不代表所有特征都在支持目标，只表示对应位置出现了较强的归因幅度。

把 nt_samples 调大就一定更好吗？

不一定。更大的采样数通常会增加计算和内存压力，先根据模型规模选择合适的分批大小，再观察结果是否已经足够稳定；不要把采样数变化和两种模式的语义混在一起比较。

可以只用 SmoothGradSquared 判断正面特征吗？

不建议。平方聚合没有正负方向，适合做强度排序；需要判断促进或抑制时，应使用 smoothgrad 或保留未平方的归因结果。