AI绘画LoRA训练步骤详解

想让AI绘画精准还原特定人物、物品或独特画风，却总被“神似不形似”困扰？关键在于缺乏针对性微调——本文手把手教你训练专属LoRA模型：从筛选20–50张高质量多角度素材、用wd14-vit-v2批量反推并精修提示词标签，到配置轻量友好的kohya_ss环境、科学设置网络维度与学习率等核心参数，最后完成部署验证；全程兼顾实操细节（如全英文路径、64倍数分辨率、Cache Latents开启等避坑要点），助你用消费级显卡稳定产出高保真、可复用的个性化绘画能力。

如果您希望AI绘画生成高度还原特定人物、物品或风格的图像，但当前模型无法稳定输出目标特征，则可能是由于缺乏针对性微调。以下是训练专属LoRA模型的具体步骤：

一、准备高质量训练素材

训练效果高度依赖原始图像质量与多样性，需确保素材能覆盖目标对象的关键视觉维度，避免因信息缺失导致泛化失败。

1、收集20–50张清晰正面及多角度图像，重点突出五官、轮廓、纹理等可辨识特征。

2、统一裁切为512×512或512×768分辨率，所有尺寸必须为64的整数倍。

3、背景尽量简洁或纯白，避免干扰模型对主体的学习。

4、命名所有文件夹与子文件夹为全英文，禁止使用中文、空格或特殊符号。

二、批量反推并优化提示词标签

每张图像需对应一组精准描述性标签（Tags），用于指导模型理解图像内容；自动反推可大幅降低人工标注成本，但需人工校验修正。

1、打开Stable Diffusion WebUI，进入“Tag反推-批量操作”界面。

2、在输入目录填入图片所在路径，输出目录设为同一文件夹。

3、选择wd14-vit-v2模型，点击“开始反推”，等待全部txt文件生成。

4、逐个打开txt文件，删除冗余、错误或无关标签，保留如portrait, front view, high detail, sharp focus等强相关描述。

三、配置kohya_ss训练环境

kohya_ss是目前最主流的LoRA训练工具，提供图形化参数界面与完整预处理链路，适配Windows平台且对消费级显卡友好。

1、安装Python 3.10（勾选Add PATH选项），安装Git与Visual Studio Redistributable。

2、以管理员身份运行PowerShell，执行：Set-ExecutionPolicy -ExecutionPolicy RemoteSigned，按[A]确认。

3、执行命令：git clone https://github.com/bmaltais/kohya_ss.git，进入目录后运行setup.bat。

4、脚本完成后，双击launch_gui.bat启动图形界面。

四、设置训练参数并启动训练

参数设定直接影响模型收敛速度与最终表现力，需根据硬件显存与训练目标动态平衡学习率、批次大小与训练轮数。

1、在“Training Config”中指定模型路径：选择基础大模型（如sdxl_unet.safetensors或v1-5-pruned-emaonly.safetensors）。

2、设置LoRA权重路径：新建models\loras\下自定义英文名文件夹，如my_character。

3、在“Dataset Config”中填入训练图片文件夹路径，并勾选“Cache Latents”与“Flip Augmentation”提升鲁棒性。

4、关键参数设定：Network Dim=128, Network Alpha=64, Learning Rate=1e-4, Epoch=10, Batch Size=2。

5、点击“Train LoRA”，等待控制台输出loss值持续下降且无报错即表示训练正常进行。

五、验证与部署LoRA模型

训练完成后的.safetensors文件需经实际推理测试，确认其是否准确响应触发词并保持原有模型稳定性。

1、将生成的LoRA文件复制至WebUI的models\loras\目录下。

2、重启WebUI，在正向提示词中加入，其中0.7为推荐权重值。

3、添加基础描述如masterpiece, best quality, portrait, front view，避免仅依赖LoRA单独生效。

4、生成图像后比对原始素材，检查面部结构、发型、服饰细节是否一致，若出现扭曲或特征丢失，需回溯调整训练轮数或标签精度。

理论要掌握，实操不能落！以上关于《AI绘画LoRA训练步骤详解》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！