PEFT合并LoRA前怎样区分适配器与基础模型权重

合并LoRA之前，先把三个对象分开：基础模型提供原始完整参数，适配器保存本次微调相关参数，合并产物把可合并的更新写入基础权重。适配器目录有权重文件，不代表它就是可以独立部署的完整模型。交付时应明确每个目录的职责，而不是凭文件大小判断。

PEFT官方入口，可复制访问：

https://huggingface.co/docs/peft/index

本文面向已有授权本地模型的工程交付，示例限定为普通LoRA、单适配器、非量化因果语言模型，且未改变词表或额外保存任务头。代码用于解释操作边界，未在本文环境执行；其他任务和量化方案不能直接照搬。

先按目录职责区分交付物

目录里混放上述文件时，名称只能提供线索，不能证明来源。README是说明材料，不是基础权重本身；把它和适配器权重一起复制，也不会补齐缺失的基础模型。官方checkpoint格式说明可用于查阅这些文件的保存职责。

读取配置，但不要把仓库名当成版本证明

adapter_config.json中的peft_type说明适配器类型；base_model_name_or_path提供来源线索；revision可能为空。相同仓库名下的不同快照不能仅凭名称视为等价，配置中出现旧机器路径时，也要回到训练记录确认具体来源。

import json
from pathlib import Path

# 只读取可信本地配置，不加载模型或执行远程代码。
adapter_dir = Path("/srv/models/lora-release")
cfg = json.loads((adapter_dir / "adapter_config.json").read_text(encoding="utf-8"))
for field in ("peft_type", "base_model_name_or_path", "revision", "target_modules", "modules_to_save"):
    print(field, cfg.get(field))
# 字段为空意味着还需查阅训练记录，不能自动认定为最新版本。

交付记录至少写清基础快照标识、适配器标识、库版本、加载精度及分词资产来源。不要通过手改配置，把未知适配器“指向”一个看起来相近的基础模型；字段变了，训练时的参数对应关系并不会跟着改变。

参数前缀并不能证明保存了基础权重

普通LoRA常见lora_A和lora_B参数名，它们描述低秩更新。键名开头出现base_model.model，可能只是PEFT包装层级，不能据此宣称文件含完整基础模型。与此同时，modules_to_save等配置可能保留额外训练模块，因此也不能把所有适配器简单理解为“只有两组矩阵”。

要做的是确认训练采用的结构、目标模块和保存设置，而不是删掉不认识的参数键或擅自去掉前缀。任务头、词表扩展、DoRA等变体需要各自的加载条件；本文下面的精简示例不覆盖这些情形。

明确基础目录后，再写入独立合并目录

基础目录和适配器目录应保持只读，合并程序仅获准向新的输出位置写入。机器要具备加载完整模型和输出权重的内存、磁盘条件；以下CPU浮点示例不保证适合大模型规模。

from pathlib import Path
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import PeftModel

# 替换为训练记录确认过的本地快照，不凭适配器字段自动选模型。
base_dir = Path("/srv/models/approved-base-snapshot")
adapter_dir = Path("/srv/models/lora-release")
output_dir = Path("/srv/releases/merged-lora-release-001")
if output_dir.exists():
    raise FileExistsError("输出目录已存在，请选择新的发布目录")

# 示例要求非量化普通LoRA，且分词器与词表未在训练中修改。
base = AutoModelForCausalLM.from_pretrained(
    base_dir, torch_dtype=torch.float32,
    local_files_only=True, trust_remote_code=False,
)
model = PeftModel.from_pretrained(
    base, adapter_dir, is_trainable=False, local_files_only=True,
)
model.eval()
# 使用合并后的返回对象保存，不能继续把原包装对象当完整交付物。
merged = model.merge_and_unload()
merged.save_pretrained(output_dir, safe_serialization=True)
tokenizer = AutoTokenizer.from_pretrained(
    base_dir, local_files_only=True, trust_remote_code=False,
)
tokenizer.save_pretrained(output_dir)

上述代码保留本地加载限制，不为了加载失败就开启未知远程代码。模型若确实依赖自定义实现，需要另行完成代码来源与执行权限确认。safe_serialization控制保存格式，不替代版本匹配或业务效果判断。PEFT的模型API说明了基础模型对象和适配器目录分别承担的加载角色。

合并输出不是原适配器的备份

merge_and_unload返回的对象不再具备原来的PEFT能力。希望日后禁用适配器、切换适配器或恢复原基础权重，就要保留原始基础快照和适配器包。部分方法或量化配置不支持相同的合并方式，遇到不支持时应保留分离部署形式，而不是强行改权重文件名。

发布材料中可分别登记来源目录、输出目录、依赖版本和合并命令。日志不应携带访问令牌或私有下载链接。交付说明还应标注模型授权限制、分词器来源和适用任务；本文没有声称运行过模型或完成实际推理测试。

常见问题

适配器文件很小，说明训练失败了吗？

不能这样判断。参数高效微调本来就可能只保存一部分训练参数，大小不是训练效果证明。

把adapter_model改名为model能独立部署吗？

不能。改名不会增加缺失的基础参数，也不会改变模型结构。

合并后还能一键恢复原模型吗？

不能依赖合并产物恢复。需要保留原基础快照与适配器，才能重新组合或独立加载原基础模型。

基础模型同名，为什么仍需要快照标识？

同名不等于同版本。基础参数、配置和分词资产的变化都可能影响适配器的正确使用，训练记录才是确认来源的依据。

最终判断原则是：配置负责解释适配器，基础快照负责提供原参数，合并输出负责承载新的部署权重，来源记录负责让三者可以追溯。先明确职责，再执行合并。