变长序列处理技巧，PyTorch实用指南

本文深入剖析了PyTorch中处理变长序列的核心机制pack_padded_sequence与pad_packed_sequence的正确用法与常见陷阱：强调二者必须严格成对使用、输入须为time-major格式且按长度降序排列、lengths必须是CPU上的int64张量，否则极易引发静默截断或难以排查的维度错误；明确指出RNN输出必须经pad_packed_sequence解包后才能准确提取各序列真实末尾，跳过任一环节都将导致结果错乱；同时对比了传统RNN场景下pack/pad的显存与速度优势，以及在Transformer等架构中采用attention_mask或masked_fill等更简洁灵活的替代方案——帮你避开踩坑，写出健壮、高效、可复现的序列建模代码。

pack_padded_sequence 必须配合 pad_packed_sequence 使用

单独调用 pack_padded_sequence 不会报错，但后续直接送入 RNN 会触发 RuntimeError: input.size(-1) must be equal to input_size 这类看似奇怪的尺寸错误——本质是 packed tensor 的内部结构不兼容普通 RNN 的输入预期。它必须和 pad_packed_sequence 成对出现，前者压缩填充，后者还原回标准张量。

典型流程是：pad_sequence → pack_padded_sequence → RNN → pad_packed_sequence。中间任何一步跳过或顺序颠倒都会导致维度错乱或梯度中断。

• pack_padded_sequence 返回的是 PackedSequence 对象，不是普通 Tensor，不能直接索引、打印 shape 或参与非 RNN 的计算
• lengths 参数必须是 CPU 上的 1D int64 张量（torch.int64），GPU 上会报 expected a CPU tensor
• 传入的 input 必须是 (seq_len, batch, features) 格式（即 time-major），不是默认的 (batch, seq_len, features)

padding 前必须按长度降序排列 batch

pack_padded_sequence 要求输入 batch 中所有序列按长度从长到短排序，否则会静默截断——它只认第一个序列的长度为该 batch 的“真实最大长”，后面更长的序列会被强制裁剪，且不报错。这种 bug 极难定位，因为输出 tensor 形状看起来正常，但结果完全不可信。

正确做法是在 pad_sequence 后、送入 pack_padded_sequence 前，显式排序：

lengths = torch.tensor([len(x) for x in unsorted_batch], dtype=torch.int64)
sorted_lengths, sort_idx = torch.sort(lengths, descending=True)
sorted_batch = [unsorted_batch[i] for i in sort_idx.tolist()]
padded = pad_sequence(sorted_batch, batch_first=False, padding_value=0.0)
packed = pack_padded_sequence(padded, sorted_lengths, enforce_sorted=True)

• enforce_sorted=True（默认）会跳过检查，但要求你确保已排序；设为 False 时它会内部重排，但会破坏你原本的 label 对齐，除非你同步重排 label
• 排序必须作用于原始 list 或 CPU tensor，不能在 GPU 上做 torch.sort 后直接喂给 pack_padded_sequence（因 lengths 需 CPU）

RNN 输出后必须用 pad_packed_sequence 恢复对齐形状

即使你只关心最后一个时间步的隐藏态（如 output[-1]），也不能跳过 pad_packed_sequence。RNN 在 packed 模式下输出的 output 仍是 PackedSequence，其内部存储是紧凑的、无填充的，直接取 [-1] 会拿到最短序列的末尾，而非每个样本的真实末尾。

正确方式是先解包再取：

packed_out, hidden = rnn(packed)
unpacked_out, _ = pad_packed_sequence(packed_out, batch_first=False)
# 此时 unpacked_out.shape == (max_len, batch, hidden_size)
# 取每个样本真实结尾：[unpacked_out[lengths[i]-1, i] for i in range(batch_size)]

• pad_packed_sequence 默认用 0 填充，若需其他填充值（如 -inf 用于 softmax mask），得手动后处理
• 若 RNN 是双向的，hidden 是 (num_layers * num_directions, batch, hidden_size)，需 reshape 分离方向，不能直接拼接
• 注意 unpacked_out 的时间维仍是原始最大长，不是原序列长；真实有效位置仍由 lengths 控制

替代方案：PackedSequence 并非唯一解，考虑 masked_fill + attention

如果你的模型主体是 Transformer 或自定义 attention，强行用 pack_padded_sequence 反而增加复杂度。现代做法更倾向保留原始 padded shape，改用 attention_mask 或 masked_fill 屏蔽无效位置：

mask = torch.arange(max_len).expand(batch_size, max_len) < lengths.unsqueeze(1)
masked_logits = logits.masked_fill(~mask, float('-inf'))

• 对于 LSTM/GRU 类 RNN，pack/pad 仍有明显速度与显存优势（尤其长序列多、长度差异大时）
• 但对于短序列（平均
• huggingface 的 transformers 库全程回避 PackedSequence，全靠 attention_mask，说明工程权衡中可读性与灵活性常优先于理论最优

实际用的时候，最容易漏掉的是 lengths 放 CPU 和 batch 排序这两步——它们不出现在任何错误 traceback 里，但会让结果彻底失效。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~