PyTorch不平衡数据处理技巧

本文深入解析了在PyTorch中科学应对类别不平衡问题的核心实践——正确使用加权交叉熵损失（`nn.CrossEntropyLoss(weight=...)`），强调必须仅基于训练集标签调用`sklearn.utils.class_weight.compute_class_weight("balanced", ...)`计算类别权重，严格规避数据泄露；明确权重按`np.unique(y_train)`顺序对齐而非原始标签值，需转为`torch.float32`张量直接传入，且默认`reduction="mean"`下无需也不应手动归一化；同时指出加权后整体准确率下降是预期现象，评估应转向macro-F1、少数类召回率等更具意义的指标，并提醒验证阶段须关闭权重以保障评估真实性，辅以过采样或阈值调整等进阶策略才能构建真正鲁棒的不平衡学习方案。

PyTorch里怎么算class_weight参数

直接用sklearn.utils.class_weight.compute_class_weight最稳，别手算。它能根据你的训练集标签分布自动给出每个类的权重，避免因样本计数偏差导致权重失真。

常见错误是拿整个数据集（含验证集）去算权重，或者用测试集标签——这属于数据泄露，模型会悄悄“偷看”未来信息。必须只用训练集的y_train。

• 用法：compute_class_weight("balanced", classes=np.unique(y_train), y=y_train)
• 返回的是 NumPy 数组，要转成 torch.Tensor 并设为 float32 类型，否则传给 nn.CrossEntropyLoss 会报 Expected object of scalar type Float but got scalar type Double
• 如果某类在训练集里根本没出现，classes 和 y 不匹配会报错，得提前检查 np.unique(y_train) 是否覆盖全部类别

WeightedLoss在CrossEntropyLoss里怎么传

nn.CrossEntropyLoss 的 weight 参数就是干这个的，不是另起一个 Loss 类。很多人搜 “PyTorch WeightedLoss” 以为要自己写类，其实不用。

注意：这个 weight 是按类别索引对齐的，不是按原始标签值。比如你的标签是 [0, 2, 5]，但 weight 张量长度必须是 3，索引 0 对应类别 0，索引 1 对应类别 2，索引 2 对应类别 5——顺序由 np.unique(y_train) 决定，不是由标签数值本身决定。

• 示例：criterion = nn.CrossEntropyLoss(weight=torch.tensor(class_weights, dtype=torch.float32))
• 如果你的标签不是从 0 开始连续整数（比如有 -1、100、200），先用 LabelEncoder 或映射转成 0~N-1，再算 weight，否则 weight[i] 会错位
• 加了 weight 后，Loss 值会变大，别慌——这是正常缩放，梯度更新逻辑不变，不影响收敛性

weight要不要归一化

不需要手动归一化。PyTorch 内部对 weight 做的是 per-sample 加权，不是整体缩放。你给 [1.0, 5.0] 和 [0.2, 1.0] 效果完全一样，因为每项都会被除以总和做隐式归一（实际实现是乘以 weight 后再除以 batch 中带权样本数）。

但有个关键例外：如果你同时用了 reduction="none"，那 weight 就是纯相乘，不归一，这时才需要自己控制量级，不过这种用法少见。

• 默认 reduction="mean" 下，放心填原始 class_weight 结果
• 验证方法：把所有 weight 设为 1.0，Loss 值应该和不设 weight 完全一致
• 有人把 weight 归一成和为 1，结果 loss 变得极小、梯度消失——这就是误用了归一逻辑

加权后准确率下降正常吗

非常正常，而且大概率会发生。因为加权损失优化目标变了：它不再追求整体准确率最大，而是让少数类预测更准。这时候看 accuracy 没意义，必须看 precision/recall/F1（尤其 macro-F1），或混淆矩阵里少数类的召回率。

另一个典型现象是训练 loss 下降快、验证 loss 波动大，甚至轻微过拟合——因为模型被强制关注难样本，泛化路径变了。

• 务必配合 torch.no_grad() 在验证时关掉 weight，否则验证 loss 失真，无法真实反映泛化能力
• 如果少数类 recall 提升但 majority 类 precision 掉太多，说明 weight 设得过大，可尝试乘个 0.7～0.9 的缩放系数压一压
• 权重只是起点，真正鲁棒的方案往往要叠加过采样（如 imblearn.over_sampling.RandomOverSampler）或阈值移动（torch.sigmoid 后调 threshold）

到这里，我们也就讲完了《PyTorch不平衡数据处理技巧》的内容了。个人认为，基础知识的学习和巩固，是为了更好的将其运用到项目中，欢迎关注golang学习网公众号，带你了解更多关于的知识点！