Transformers 量化配置怎么选择 int8 与 int4

Transformers 里选择 int8 还是 int4，不能只看“哪个更省显存”。如果目标是稳定推理，通常先用 int8 建立基线；如果显存仍然不够，或要用 QLoRA 训练额外的 LoRA 参数，再评估 int4。真正需要比较的是权重占用、计算类型、输出质量和硬件支持。

官方地址：https://huggingface.co/docs/transformers/main/en/quantization/overview

先把 int8 和 int4 放到同一张决策表里

int8 的优点是改动少、推理路径成熟，适合先验证模型能否在目标设备上稳定加载。int4 的权重更紧凑，适合显存紧张的推理或参数高效微调，但计算通常仍会在 fp16 或 bf16 等类型上完成，不能把“4-bit 权重”理解成“所有计算都是 4-bit”。

推理先用 int8 建立可回退配置

使用 bitsandbytes 时，int8 的最小配置是把 load_in_8bit 交给 BitsAndBytesConfig，再传入 from_pretrained()。下面的代码只演示配置关系；模型名和设备应替换为自己的测试对象。

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

# 先用 int8 建立推理基线，避免一开始同时改变太多变量
quant_config = BitsAndBytesConfig(
    load_in_8bit=True,
)

# auto 适合推理时按可用设备分配；训练不要把它当作通用方案
model = AutoModelForCausalLM.from_pretrained(
    "your-org/your-model",
    device_map="auto",
    dtype="auto",
    quantization_config=quant_config,
)

# 用统一指标记录显存，而不是凭体感判断压缩效果
print(model.get_memory_footprint())

如果 CPU 与 GPU 混合卸载，注意被分配到 CPU 的权重不一定继续保持 8-bit；显存下降并不等于端到端延迟一定下降。模型第一次跑通后，再固定输入长度、批大小和生成参数，比较吞吐与输出质量。

显存不够时再切 int4，并明确训练边界

int4 适合把基础模型压到更小的显存预算中。做 QLoRA 时，常见起点是 NF4 存储格式，再把计算类型设为 bf16；如果硬件或驱动不支持 bf16，应改成目标环境实际支持的类型，并重新测评。

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

# NF4 面向 4-bit 基础模型训练，计算 dtype 仍是独立选择
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    # 二次量化进一步压缩，开启后仍要检查速度和质量
    bnb_4bit_use_double_quant=True,
)

model = AutoModelForCausalLM.from_pretrained(
    "your-org/your-model",
    quantization_config=quant_config,
    device_map="auto",
    dtype="auto",
)

# 只把它当作显存观测点，不能代替任务质量评测
print(model.get_memory_footprint())

这里的 device_map="auto" 更适合推理；如果进入训练流程，应按照训练框架和 PEFT 的设备策略配置。官方文档还特别说明，8-bit 与 4-bit 训练的支持边界是额外参数，而不是把量化后的全部基础权重都改成可训练状态。

用四项检查决定配置能不能上线

1. 加载检查：记录模型、Transformers、bitsandbytes、PyTorch 和 CUDA 组合，确认目标后端有对应支持。
2. 显存检查：记录空载、加载后和生成阶段峰值；只看权重大小会漏掉 KV cache 和临时张量。
3. 质量检查：准备一组固定提示词或评测集，比较 int8、int4 与未量化基线的关键错误。
4. 性能检查：固定输入输出长度和 batch size，再看首 token 延迟、生成吞吐和 CPU 卸载代价。

如果 int8 已经满足显存和延迟目标，不必为了追求更低位宽切到 int4；如果 int4 才能装下模型，就把质量回归和异常样本列为发布门槛。位宽只是手段，能否稳定完成任务才是结果。

常见问题

int4 一定比 int8 快吗？

不一定。它通常更省权重显存，但速度还受 kernel、设备、卸载、序列长度和计算 dtype 影响，必须在目标环境实测。

可以用 int4 做全量微调吗？

不要直接这样假设。Transformers 的 bitsandbytes 文档把 4-bit 训练边界放在额外参数，常见路径是 PEFT/QLoRA。

为什么量化后显存仍然不够？

权重只是其中一部分，KV cache、激活、临时张量和批大小都会增加峰值；先检查生成长度与 batch，再考虑进一步压缩。