Diffusers怎样使用Generator复现同一张生成图

在 Diffusers 中，固定一个整数 seed 并不等于自动得到一张永远相同的图。真正影响初始噪声的是随机数生成状态；如果 pipeline 没有收到显式的 torch.Generator，每次调用都可能从不同状态开始。

直接结论：把一个 CPU Generator 传给 pipeline，并在每次需要复现时重新创建或重新播种它。与此同时固定模型、prompt、尺寸、推理步数、调度器和运行环境。这样才能把“复现”变成可解释的实验条件，而不是只记住一个数字。

官方地址：https://huggingface.co/docs/diffusers/using-diffusers/reusing_seeds

先分清“同一张图”到底要求什么

复现通常有三种目标：同一个进程中再次得到相同结果；换一台机器仍尽量接近；或者只是让一组实验使用同一批初始随机状态。三者的约束不同。

Diffusers 官方文档提醒，扩散过程本身是随机过程。CPU Generator 往往比 GPU Generator 更适合作为复现入口，因为随机数在 CPU 上生成后再由 pipeline 移动到目标设备。即便如此，也不能把相同 seed 理解成跨版本、跨硬件的绝对像素保证，调度器实现、模型权重和底层算子都可能改变结果。

第一步：创建 CPU Generator 并传给 pipeline

下面的最小结构展示了关键位置。模型名只作示例，实际项目应替换成你已经确认可用的 Diffusers 模型；重点是 generator 参数，而不是某个具体模型。

import torch
from diffusers import DiffusionPipeline

# 使用已确认可用的模型；dtype 与 device 要按本机硬件调整
pipeline = DiffusionPipeline.from_pretrained(
    "your-org/your-diffusion-model",
    torch_dtype=torch.float16,
)
pipeline = pipeline.to("cuda")

# 在 CPU 上管理随机数，便于跨设备时保持更稳定的随机起点
generator = torch.Generator(device="cpu").manual_seed(2026)

# 把 Generator 显式交给 pipeline，控制初始噪声的生成
result = pipeline(
    prompt="a small red house beside a quiet lake",
    generator=generator,
    num_inference_steps=30,
).images[0]
result.save("first-result.png")

这里不要把 torch.Generator(device="cuda") 当成“更接近最终设备”的默认选择。它可以在 GPU 上采样，但如果目标是复现，CPU Generator 通常更容易获得相近的随机值；pipeline 会负责把随机张量送到计算设备。

第二步：每次复现前重新播种

Generator 是有状态对象。一次 pipeline 调用会消耗它内部的随机状态，下一次直接复用同一个对象，得到不同的随机序列是正常现象。最稳妥的做法是把“创建 Generator”封装到一次生成函数里。

def generate_with_seed(pipeline, prompt, seed):
    # 每次调用都创建新 Generator，避免继承上一次调用已经消耗的状态
    generator = torch.Generator(device="cpu").manual_seed(seed)
    return pipeline(
        prompt=prompt,
        generator=generator,
        num_inference_steps=30,
        height=512,
        width=512,
    ).images[0]

prompt = "a small red house beside a quiet lake"
first = generate_with_seed(pipeline, prompt, 2026)
second = generate_with_seed(pipeline, prompt, 2026)

# 两次调用使用相同输入和新建的同 seed Generator
first.save("repeat-a.png")
second.save("repeat-b.png")

如果你只是想连续生成不同结果，就反过来复用同一个 Generator；如果你想复现实验，就不要把这种“连续采样”写法和“同 seed 重放”混在一起。

第三步：把采样条件一起固定

只固定 seed 往往不够。建议把一次生成的条件整理成一个可记录的配置对象，尤其要记下模型标识、调度器、推理步数、尺寸、提示词和负面提示词。

generation_config = {
    "prompt": "a small red house beside a quiet lake",
    "negative_prompt": "blurry, low quality",
    "height": 512,
    "width": 512,
    "num_inference_steps": 30,
    "guidance_scale": 7.0,
    "seed": 2026,
}

# 将同一份条件展开给 pipeline，避免手工调用时漏掉参数
generator = torch.Generator(device="cpu").manual_seed(generation_config["seed"])
image = pipeline(
    prompt=generation_config["prompt"],
    negative_prompt=generation_config["negative_prompt"],
    height=generation_config["height"],
    width=generation_config["width"],
    num_inference_steps=generation_config["num_inference_steps"],
    guidance_scale=generation_config["guidance_scale"],
    generator=generator,
).images[0]

如果代码中还配置了 scheduler、LoRA 权重、ControlNet、图像条件或 callback，这些也属于实验条件。任何一个条件改变，都应该把它视为一次新的生成，而不是要求旧图像必须完全重现。

第四步：连续生成、批量生成与复现不要混用

批量生成时有两种常见意图。第一种是一次得到一组不同图片，此时可以让同一个 Generator 连续产生随机状态；第二种是稍后重跑同一批图片，此时需要在每个样本开始前使用稳定的 seed 规则，并保存对应的配置。

seeds = [2026, 2027, 2028]
images = []

for seed in seeds:
    # 每个样本独立播种，便于之后按索引精准重放
    generator = torch.Generator(device="cpu").manual_seed(seed)
    image = pipeline(
        prompt="a small red house beside a quiet lake",
        generator=generator,
        num_inference_steps=30,
    ).images[0]
    images.append(image)

for index, image in enumerate(images):
    # 文件名保留 seed，方便把图片和实验记录对应起来
    image.save(f"sample-{index}-seed-{seeds[index]}.png")

为什么同一个 seed 仍可能不完全一样

1. Generator 已被消耗：同一个对象连续调用时，状态已经前进；重新创建对象才能从相同起点开始。
2. 模型或 scheduler 变了：权重、调度器配置、LoRA 或 ControlNet 任一变化都会改变采样路径。
3. 输入参数变了：prompt 的空格、negative prompt、尺寸、步数和 guidance scale 都可能影响输出。
4. 设备与算子不同：GPU、CPU、MPS、不同 PyTorch 或 CUDA 版本可能有数值差异。
5. 把复现理解得过强：官方文档也提示，即使 seed 相同，也不能保证所有版本和平台的绝对一致。

一张速查表：该怎么选

常见问题

可以直接把整数 seed 传给 pipeline 吗？

有些调用路径支持整数形式，但为了明确控制设备和状态，建议显式创建 torch.Generator。这样也更容易在批量任务中记录和重放。

为什么第二次调用同一个 Generator 不一样？

因为 Generator 的随机状态会随着采样被消耗。要重现第一次调用，重新创建 Generator 或再次设置同一个 seed。

固定 Generator 就能保证跨机器像素完全一致吗？

不能作绝对保证。它主要固定随机起点；模型、软件版本、调度器、硬件和底层算子仍会影响最终结果。工程上应同时保存完整配置，并把复现目标定义为“同环境重放”或“允许误差的近似复现”。

总结：Diffusers 的可复现关键是“显式 Generator + 每次重放前重新播种 + 固定完整采样条件”。先把随机状态控制住，再排查模型、调度器和运行环境，通常比反复修改 seed 更快找到差异来源。