Python itertools.batched 分批消费迭代器的边界

如果你要把一个可能很大的可迭代对象按固定数量交给下游处理，itertools.batched() 的关键不是“把列表切成几段”，而是按需读取输入并逐批返回元组。默认情况下，最后不足 n 个元素的尾批也会返回；只有明确要求每批完整时，才使用 strict=True。

官方文档：https://docs.python.org/3.15/library/itertools.html#itertools.batched

本文只讨论 Python 3.12+ 的 batched()：输入是什么、结果何时产生、尾批如何处理，以及代码应该在哪个边界上做决定。

itertools.batched 到底返回什么

batched(iterable, n) 接受任何可迭代对象，返回一个批次迭代器；每次迭代得到的是一个 tuple，而不是自动生成的列表。它不会先把全部输入复制到内存里，而是消费到足够填满当前批次时就产生一个结果。

from itertools import batched

# 用生成器模拟持续到来的记录，避免先构造完整列表
records = (f"row-{number}" for number in range(1, 6))

# 每批最多取两个元素，结果仍然是可继续迭代的对象
for batch in batched(records, 2):
    # 下游可以在这里提交、写入或处理当前批次
    print(type(batch).__name__, batch)

这个例子里的批次形态是 ('row-1', 'row-2')、('row-3', 'row-4') 和 ('row-5',)。因此，批次大小是上限，不代表每个返回元组都一定有两个元素。

n、惰性消费与最后一批怎么判断

n 必须大于或等于 1。传入 0 或负数时，函数会抛出 ValueError；空输入则不会产生任何批次。由于读取是惰性的，调用 batched() 本身不会立刻消费全部数据，真正开始消费发生在遍历返回对象时。

from itertools import batched

def consume_in_batches(source, size):
    # 先让标准库处理 size 的合法性，再逐批处理输入
    for batch in batched(source, size):
        # 尾批可能短于 size，下游不要无条件访问固定下标
        if not batch:
            continue
        print(f"本批数量: {len(batch)}")

# 空输入没有输出；五个元素按 3 个一批时，最后一批只有两个
consume_in_batches([], 3)
consume_in_batches(range(1, 6), 3)

工程上不要把 batched() 的结果当成可重复遍历的序列：消费一次后，输入迭代器已经向前移动。若下游需要多次访问，应在明确可接受内存成本后，把单个批次保存下来，而不是重新遍历同一个批次迭代器。

strict=True 适合整批输入吗

当业务要求“每次提交必须正好有 n 条”时，可以使用关键字参数 strict=True。完整批次会正常产生；一旦最后一批不足 n，就抛出 ValueError。这适合固定宽度文件、成组协议记录或必须成批提交的任务，不适合自然允许尾批的分页读取。

from itertools import batched

def full_batches(source, size):
    # strict=True 把不完整尾批变成显式错误，避免静默少处理
    for batch in batched(source, size, strict=True):
        # 只有完整批次才会到达这里
        yield batch

try:
    list(full_batches(range(5), 2))
except ValueError as exc:
    # 调用方可以记录输入数量不足，并决定补齐或回滚
    print(f"批次不完整: {exc}")

注意异常出现的位置：前面的完整批次可能已经被消费并交给下游，异常发生在发现不完整尾批时。因此，如果“全部成功后才提交”是硬要求，应把批次处理放进事务或先把输入分成可回滚的工作单元，不能只依赖捕获异常来撤销已经完成的副作用。

把边界写进实际消费代码

可以按下面的约束选择参数：

最后检查四件事：n 是否来自可信配置、尾批是否允许变短、下游是否会产生不可逆副作用、异常后是否有补偿动作。这样使用 batched() 时，真正的边界就从隐含行为变成了代码中的明确约束。

相关问题

batched() 会把输入一次性读入内存吗？

不会。它按批次惰性消费输入，遍历到哪一批才读取到哪一批。

最后一批不足 n 个元素会怎样？

默认返回一个较短的元组；设置 strict=True 后会抛出 ValueError。