扩散模型固定 seed 后为什么仍有细节差异

扩散模型里固定 seed 仍出现发丝、纹理或边缘细节差异，通常不是 seed 失效。seed 只负责初始化随机状态；真正的结果还取决于 Generator 是否被重复消费、scheduler 配置、提示词编码、张量精度、CUDA 算子和硬件架构。CPU 与 GPU、不同 GPU 之间只能先追求“同环境可复现”，不能默认像素级完全相同。

官方地址：https://huggingface.co/docs/diffusers/

固定 seed 只锁住了随机起点

Diffusers 的 pipeline 会通过随机数生成初始噪声。一个整数 seed 只是创建随机状态的入口，Generator 本身会在调用中前进；同一个 Generator 连续调用两次，第二次已经不是第一次的随机状态。因此，批量出图或回归测试时，要在每次调用前重新创建 Generator，或者保存并恢复明确的随机状态。

推荐先使用 CPU Generator，让随机噪声的来源固定在 CPU，再交给 pipeline 搬到目标设备。下面的写法每次都重新建立状态，适合比较两次结果：

import torch

# 每次比较都重新创建 CPU Generator，避免上一次调用消耗随机状态
def make_generator(seed: int) -> torch.Generator:
    return torch.Generator(device="cpu").manual_seed(seed)

# 不要复用已经被 pipeline 消耗过的 g
g = make_generator(20260911)
result = pipe(
    prompt=prompt,
    generator=g,  # 让初始噪声由同一个 CPU 随机状态产生
    num_inference_steps=30,
    guidance_scale=7.0,
).images[0]

先排除 scheduler 和运行参数漂移

两次调用只要有一项配置不同，seed 相同也没有可比性。常见漏项包括 scheduler 类型或参数、采样步数、提示词和负面提示词、宽高、批大小、CFG、模型权重、VAE、LoRA、ControlNet，以及是否输出 latent。尤其不要把“换了 scheduler 但 seed 一样”当成复现失败；scheduler 本来就改变每一步噪声更新的路径。

硬件和精度会放大微小差异

GPU 推理包含大量矩阵乘法和并行归约。不同 GPU、驱动、CUDA/cuDNN、注意力后端或 float16、bfloat16、TF32 配置，可能采用不同实现或不同累加顺序；浮点加法又不是结合律成立的运算，微小误差会沿着多轮去噪逐步放大，最后表现为局部纹理不同。

如果目标是同一台机器上的回归测试，可以关闭卷积 benchmark，并按需启用 PyTorch 确定性算法。它可能降低性能；遇到没有确定性实现的算子，还会直接抛出错误，这反而能帮助定位：

import os
import torch

# 在进程启动早期固定 CUDA 工作区，减少并行执行路径变化
os.environ["CUBLAS_WORKSPACE_CONFIG"] = ":16:8"
# 禁止每次 benchmark 重新挑选最快卷积算法
torch.backends.cudnn.benchmark = False
# 找不到确定性实现时抛错，不把差异静默吞掉
torch.use_deterministic_algorithms(True)
# 测试阶段可关闭 TF32，让矩阵计算更接近完整精度
torch.backends.cuda.matmul.allow_tf32 = False
torch.backends.cudnn.allow_tf32 = False

这组设置不能把不同 GPU 变成同一台机器。跨设备比较时，更实际的做法是记录输出张量的误差范围、使用相同容差判断，并把“视觉一致”与“像素完全一致”分开。

生产环境用一张清单锁住复现边界

发布模型或排查线上差异时，建议把以下信息和 seed 一起写入实验记录：模型仓库与提交版本、scheduler 配置、提示词、随机数 Generator 的设备、采样步数、分辨率、批大小、权重精度、GPU 型号、驱动与 CUDA、PyTorch 和 Diffusers 版本。不要只保存最终图片，否则无法判断差异来自输入、随机状态还是算子后端。

排查顺序可以固定为：先在同一设备重新创建 CPU Generator；再逐项比对模型和采样参数；随后锁定精度与确定性设置；最后才比较不同硬件。若同机仍不一致，优先检查是否复用了 Generator、是否有未固定的随机增强，或 pipeline 中是否额外创建了随机张量。

常见问题

只传 seed=42 为什么还不稳定？

外层 seed 不能保证 pipeline 内每个随机调用都使用同一状态。优先传入每次新建的 CPU torch.Generator，并避免复用已消费的对象。

固定 seed 后换 scheduler 可以吗？

可以，但它是在比较两种采样路径，不是在做严格复现。要复现就连 scheduler 配置和步数一起固定。

开启确定性算法后不同显卡还会完全一样吗？

不保证。确定性设置主要约束相同软件和硬件环境；不同 GPU、精度和后端仍可能产生可见的细节漂移。