Python heapq.merge 如何合并有序日志流：惰性迭代与乱序输入边界

批处理系统每天把不同机器的访问日志分别写成按时间递增的文件，汇总页却需要一条统一时间线。把所有行读进列表再调用 sorted() 当然能工作，但数据量上来后，内存峰值和首条结果的等待时间都会变得难看。Python 的 heapq.merge() 适合这个场景：它只从多个已经有序的输入中逐项取出下一条结果。

先确认每个输入流都按同一排序规则排好，再用 heapq.merge() 做惰性合并；它不会替你修复单个流内部的乱序。

把多个日志流接成一条时间线

下面的记录故意保留为字典，便于把“显示文本”和“排序字段”分开。app_a 与 app_b 各自已经按 ts 升序排列，merge 只负责在两个流的当前头部之间选择更小的时间戳。

from heapq import merge

app_a = [
    {"ts": 101, "line": "GET /orders 200"},
    {"ts": 105, "line": "GET /orders 500"},
]
app_b = [
    {"ts": 102, "line": "GET /health 200"},
    {"ts": 106, "line": "GET /orders 200"},
]

日志流 = merge(app_a, app_b, key=lambda row: row["ts"])
排序结果 = list(日志流)
print([row["ts"] for row in 排序结果])
# [101, 102, 105, 106]

这里的 merge 不会先构造 app_a + app_b。当循环请求下一项时，它只保留各输入流当前待比较的元素，因此适合把文件迭代器、数据库游标或生成器接进来。示例中的 排序结果 才是主动把全部结果收进内存的地方；如果下游可以边读边写，就不必调用 list()。

key 决定比较字段，输入顺序决定正确性

真实日志通常不是整数列表，而是带时间、主机和文本的对象。此时要明确 key 提取哪个字段。若 app_a 按 ts 排序、app_b 却按字符串时间或其他字段排序，合并器没有额外信息判断谁“应该”排在前面。

from heapq import merge

app_a = [{"ts": 10, "line": "a"}, {"ts": 30, "line": "c"}]
app_b = [{"ts": 20, "line": "b"}, {"ts": 40, "line": "d"}]

for row in merge(app_a, app_b, key=lambda row: row["ts"]):
    print(row["ts"], row["line"])

# 如果要降序：所有输入都必须先按 ts 降序排列
newest_first = merge(
    [{"ts": 30}, {"ts": 10}],
    [{"ts": 40}, {"ts": 20}],
    key=lambda row: row["ts"],
    reverse=True,
)

reverse=True 不是“收到任意输入后再倒序”。它要求参与合并的每个输入已经按降序排列，否则局部看似合理、整体却会出现时间倒退。工程上可以在打开文件时记录排序约定，测试中再用一条故意乱序的流验证边界。

内存、重复消费和乱序输入的边界

heapq.merge() 的优势是惰性，不是魔法压缩。它不会为你校验输入是否有序，也不会让一个已经消费过的迭代器重新开始。需要分页输出时直接迭代；需要第二次遍历时，要么重新打开源文件，要么明确承担缓存全部结果的成本。

最容易忽略的是“每个源各自有序”这个前提。例如某个服务重启后把时间戳 99 的补写日志追加到已经写到 120 的文件尾部，合并结果可能把 99 放在 120 之后。此时先在源头修正排序，或针对异常文件单独重排；不要把 merge 当作全量排序替代品。

常见问题：什么时候该选 heapq.merge

heapq.merge 会把所有数据读进内存吗？

不会。它返回惰性迭代器，调用方消费下一项时才继续推进输入；但调用方若使用 list()，仍会把最终结果全部留在内存中。

输入没有排序还能用吗？

不应直接使用。先让每个输入按同一个 key 排序；否则它只会按当前头部做合并，不能修复源流内部的乱序。

reverse=True 需要注意什么？

所有输入都必须按相同键降序排列，不能只在合并时加 reverse=True 而保持输入升序。

小结

把 heapq.merge 看成“多个有序迭代器的拉取器”更准确：key 统一比较字段，输入流保证局部顺序，消费方式决定内存占用。日志、时间序列和分片文件满足这三个条件时，它通常比先拼接再全量排序更稳妥。