可在手机终端部署，人大等提出全新人物图片保护模型RID

怎么入门科技周边编程？需要学习哪些知识点？这是新手们刚接触编程时常见的问题；下面golang学习网就来给大家整理分享一些知识点，希望能够给初学者一些帮助。本篇文章就来介绍《可在手机终端部署，人大等提出全新人物图片保护模型RID》，涉及到，有需要的可以收藏一下

RID：实时身份防御，对抗扩散模型恶意个性化

来自中国人民大学和Sea AI Lab的研究人员提出了一种名为RID的全新人物图像保护模型，该模型能够以毫秒级的速度为图像添加扰动，有效防止扩散模型的恶意个性化定制。这项研究由香港大学在读博士生郭瀚中（硕士期间完成）主导，孙浩教授和李崇轩教授共同指导，其他参与者包括中国人民大学博士生聂燊以及Sea AI Lab研究员庞天宇和杜超。

近年来，基于扩散模型的个性化图像生成技术日益成熟，用户可以通过提供少量图像来训练模型，生成该概念的新视角或场景图像。然而，这种技术也带来了隐私风险，恶意用户可能利用他人照片生成虚假图像。现有的一些防御方法通过添加扰动来保护图像，但计算成本高昂，需要数分钟甚至数十分钟的处理时间，且对显存消耗巨大。

RID模型则另辟蹊径，通过一个预训练的小型网络快速生成扰动，实现实时图像保护。该网络可在用户手机终端部署，保护过程仅需几十毫秒。

• 论文标题: Real-time Identity Defenses against Malicious Personalization of Diffusion Models
• 论文地址: https://arxiv.org/pdf/2412.09844
• 项目地址: https://github.com/Guohanzhong/RID

下图展示了RID模型的工作流程以及与现有方法的对比：

核心技术：对抗性得分蒸馏采样 (Adv-SDS)

RID借鉴了Dreamfusion的得分蒸馏采样(SDS)技术，但目标不同。Dreamfusion旨在生成符合扩散模型空间的不同视角图像，因此需要最小化SDS损失。而RID的目标是防止图像被恶意个性化，因此采用了最大化SDS损失的Adv-SDS方法。

为了避免陷入局部最优并使扰动更不易察觉，RID还引入了回归损失，并使用预先生成的干净图像和扰动数据对进行训练。

模型架构: RID采用DiT架构作为主网络，并去除条件注入部分，最后添加tanh非线性映射和缩放操作来限制扰动大小。

实验结果:

RID在70k VGG-Face 2数据集上进行训练，并在Celeba-HQ数据集上进行评估。结果表明，RID能够有效防止图像被恶意个性化，并在单张GPU上实现8.33 Images/Second的处理速度。

RID在不同的个性化方法、预训练模型和噪声幅度下均表现出良好的鲁棒性，并能有效应对黑盒攻击和图像后处理。其保护机制在于增加了扩散模型在不同时间步上的损失，使得模型难以学习和生成受保护的图像。

未来展望:

未来的研究方向包括将更多DiT架构的扩散模型集成到Adv-SDS中，以及设计更不易察觉且具有良性作用的扰动。

本篇关于《可在手机终端部署，人大等提出全新人物图片保护模型RID》的介绍就到此结束啦，但是学无止境，想要了解学习更多关于科技周边的相关知识，请关注golang学习网公众号！