ConsiStory

ConsiStory是什么：

ConsiStory是由NVIDIA和特拉维夫大学共同研发的先进文本到图像生成技术。它能够在无需额外训练的情况下，利用预训练的模型生成一系列图像，这些图像在遵循不同文本提示的同时，保持主题的一致性。

主要特点：

• 无需训练： ConsiStory无需对预训练模型进行额外的优化或个性化训练，节省时间和资源。
• 一致性主题生成： 能够生成在不同文本提示下保持相同主题身份的图像系列。
• 跨帧一致性： 通过内部激活共享确保主题特征在不同图像间的一致性。
• 布局多样性： 使用注意力丢弃和查询特征混合技术，增加生成图像的多样性。
• 兼容性： 与现有的图像编辑工具（如ControlNet）兼容，提升使用灵活性。
• 快速生成： 生成速度快，比现有技术快约20倍，提升效率。

主要功能：

• 主题定位： 精确定位图像中包含主题的区域，确保生成的图像主题准确。
• 主题驱动的共享注意力： 通过扩展自注意力机制，共享主题特征，保持图像的一致性。
• 布局多样性增强： 利用混合特征和注意力丢弃技术，增强图像布局的多样性。
• 特征注入： 使用DIFT特征对齐和混合不同图像间的特征，提高图像质量。
• 锚定图像和可重用主题： 选择锚定图像，提高计算效率和生成质量，支持主题的重用。
• 多主题一致性生成： 在单个图像中保持多个主题的一致性，适用于复杂场景。

使用示例：

1. 生成一致的图像集： 通过给定一系列文本提示，生成包含一致主题的图像集，适用于故事插图等场景。
2. 与ControlNet集成： 结合ConsiStory和ControlNet，生成具有特定姿势的一致性角色，提升图像编辑效果。
3. 训练免费个性化： 使用编辑友好的反演技术，实现无需训练的个性化图像生成。
4. 种子变化： 通过改变起始噪声，生成不同的一致图像集，增加生成图像的多样性。
5. 种族多样性： 在提示中提供不同种族群体，生成属于这些群体的一致主题，促进多样性表达。

总结：

ConsiStory提供了一种快速、高效且无需额外训练的方法来生成一致性图像，适用于需要保持主题一致性的应用场景。它不仅能够处理单主题场景，还能够应对多主题挑战，并与现有的图像编辑工具集成，为用户提供了一个强大的图像生成解决方案。