BitsAndBytesConfig 怎样查看 4bit 量化参数

如果你已经给 Transformers 传入了 BitsAndBytesConfig，想确认 4bit 到底配置了什么，不必先看显存曲线。先读取配置对象本身：load_in_4bit 负责开关，bnb_4bit_quant_type 表示 FP4 或 NF4，bnb_4bit_compute_dtype 表示计算精度，bnb_4bit_use_double_quant 表示是否启用二次量化。

官方地址：https://huggingface.co/docs/transformers/quantization/bitsandbytes

本文只解决“怎样查看和解释 4bit 量化参数”这一件事，不把配置检查写成模型加载、显存估算或训练教程。下面的输出是字段展示示例，不代表某台机器的实际运行结果。

一、先把 4bit 配置对象读出来

最小做法是创建一个明确的配置对象，再用 to_dict() 读取字段。这样比直接猜测默认值更稳，也方便把配置写入日志或排障报告。

import torch
from transformers import BitsAndBytesConfig

# 只展示 4bit 配置字段，不在这里加载模型。
quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
    bnb_4bit_use_double_quant=True,
)

# to_dict() 便于按字段名读取；这里打印的是配置示例，不是运行截图。
fields = quant_config.to_dict()
for name in (
    "load_in_4bit",
    "bnb_4bit_quant_type",
    "bnb_4bit_compute_dtype",
    "bnb_4bit_use_double_quant",
):
    print(f"{name} = {fields.get(name)}")

检查结果时先看 load_in_4bit。它为 False 时，其他 4bit 字段即使写进配置，也不能说明本次配置启用了 4bit；它为 True 后，才继续解释量化类型、计算类型和二次量化。

二、四个字段分别说明什么

load_in_4bit：这是 4bit 配置的总开关。排查“为什么没有按 4bit 配置”时，先确认它是布尔值 True，不要只看量化类型字段。

bnb_4bit_quant_type：常见值是 nf4 和 fp4。它描述 4bit 权重采用的量化类型，不等于 PyTorch 的计算 dtype。

bnb_4bit_compute_dtype：它描述计算阶段使用的 dtype，例如 torch.bfloat16。这是“怎么算”，不是“权重以几 bit 保存”，所以不能把它误读成 4bit 权重存储类型。

bnb_4bit_use_double_quant：它表示是否在第一次量化之外再对量化常数做二次量化。这个选项影响配置策略，但不能单独证明模型已经完成了加载或推理。

def summarize_4bit_config(config):
    # 把容易混淆的字段整理成一份短摘要，便于日志记录。
    values = config.to_dict()
    return {
        "enabled": values.get("load_in_4bit") is True,
        "quant_type": values.get("bnb_4bit_quant_type"),
        "compute_dtype": str(values.get("bnb_4bit_compute_dtype")),
        "double_quant": values.get("bnb_4bit_use_double_quant") is True,
    }

print(summarize_4bit_config(quant_config))

这份摘要把“是否启用”和“采用什么参数”分开，后续比较两份配置时不容易把 quant_type 与 compute_dtype 混在一起。

三、从已加载模型读取实际配置

如果配置对象已经传给 from_pretrained()，排障时更适合查看模型配置里的 quantization_config。它回答的是“模型配置对象记录了什么”，与单独保存在变量里的原始配置不是同一个读取入口。

# model 是已经由你的加载代码得到的模型对象。
model_config = getattr(model.config, "quantization_config", None)

if model_config is None:
    # 没有量化配置记录时，先排查加载路径和模型类型。
    print("model.config 中没有 quantization_config")
else:
    # 读取模型配置中的 4bit 字段，避免只看外部变量。
    actual_fields = model_config.to_dict()
    for name in (
        "load_in_4bit",
        "bnb_4bit_quant_type",
        "bnb_4bit_compute_dtype",
        "bnb_4bit_use_double_quant",
    ):
        print(f"{name} = {actual_fields.get(name)}")

这里的 None 不是“4bit 一定失败”，而是“当前模型配置对象没有记录这个入口”。你需要回到模型类型、Transformers 版本和加载参数继续排查，不能仅凭缺少字段就推断显存或运行状态。

四、遇到配置不符合预期时怎么排查

• 只看了量化类型：先确认 load_in_4bit，再看 bnb_4bit_quant_type；类型字段不是总开关。
• 把 dtype 当成权重 bit 数：bnb_4bit_compute_dtype 是计算精度，不能用来判断权重是否以 4bit 保存。
• 只打印外部变量：如果模型已经加载，优先读取 model.config.quantization_config，避免外部变量和模型配置脱节。
• 把字段打印当成运行验证：字段只能说明配置对象的内容；设备分配、实际内存和推理行为需要另外设计验证。

因此，最短的排查顺序是：先看 load_in_4bit，再看 bnb_4bit_quant_type，随后区分 bnb_4bit_compute_dtype 与权重存储，最后从模型的 quantization_config 读取一次。

总结与常见问题

查看 4bit 参数的核心不是猜日志，而是读取 BitsAndBytesConfig.to_dict()：load_in_4bit 判断开关，bnb_4bit_quant_type 判断 FP4/NF4，bnb_4bit_compute_dtype 判断计算类型，bnb_4bit_use_double_quant 判断二次量化。已经有模型对象时，再读取 model.config.quantization_config 做对照。

bnb_4bit_compute_dtype 是不是 4bit？

不是。它描述计算阶段使用的 dtype；4bit 权重的量化类型由 bnb_4bit_quant_type 表达。

为什么配置里有 4bit 字段却没有启用 4bit？

先检查 load_in_4bit 是否为 True，再确认这份配置是否真的传给了模型加载入口，并从模型的 quantization_config 再读一次。