Python subprocess 超时后清理子进程树

Python 的 subprocess 超时只表示等待期限到了，不会自动替你清理子进程。若被启动的命令又派生了 worker、shell 或辅助进程，直接调用 proc.kill() 往往只杀掉最外层 PID，子进程仍可能持有文件、端口或管道。可靠做法是：启动时先建立可控的 session/process group，超时后向这一组进程发送终止信号，最后再用 communicate() 收回输出。

先把“超时”和“树级清理”分成两件事

Popen.communicate(timeout=...) 抛出 TimeoutExpired 时，Python 文档明确说明子进程不会因此自动被杀死。单进程任务可以在异常分支调用 kill()，但当命令启动了孙进程时，父进程退出并不保证整棵树一起退出。

因此启动阶段就要决定隔离边界：Unix-like 系统让子进程创建独立 session，清理时用它的 PID 作为 process group ID；Windows 则创建独立进程组，再调用平台提供的递归终止方式。两个方案都只适用于你拥有并负责的子进程，不应把 PID 模糊匹配用于生产机器上的其他任务。

POSIX：用独立 session 收拢整棵进程树

在 Linux、macOS 等 POSIX 环境，start_new_session=True 会让子进程在执行前建立新 session。超时后先发送 SIGTERM 给进程组，给任务一个释放资源的机会；短暂等待仍未退出，再升级为 SIGKILL。关键是信号目标写成负的进程组 ID，不能只写正的 PID。

import os
import signal
import subprocess

def run_with_tree_timeout(argv, timeout):
    # 新 session 让 proc.pid 同时成为这棵任务树的进程组 ID。
    proc = subprocess.Popen(
        argv,
        start_new_session=True,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE,
        text=True,
    )
    try:
        # communicate 同时读取管道，避免子进程输出过多造成阻塞。
        stdout, stderr = proc.communicate(timeout=timeout)
        return proc.returncode, stdout, stderr
    except subprocess.TimeoutExpired:
        # 先优雅终止整组，而不是只终止最外层 PID。
        os.killpg(proc.pid, signal.SIGTERM)
        try:
            stdout, stderr = proc.communicate(timeout=2)
        except subprocess.TimeoutExpired:
            # 仍未退出时才升级；这里保留第二次通信以收回管道数据。
            os.killpg(proc.pid, signal.SIGKILL)
            stdout, stderr = proc.communicate()
        return proc.returncode, stdout, stderr

这里的两秒不是“业务一定要用的固定值”，而是清理窗口的示例参数。若子进程会写入重要落盘数据，应先定义可接受的优雅退出时间；若任务完全不可恢复，才考虑缩短窗口。communicate() 的第二次调用很重要，它负责等待退出并填充 returncode，同时把已读到的 stdout/stderr 带回来。

Windows：进程组建立后再做递归终止

Windows 的 terminate() 和 kill() 走的是 Win32 进程终止语义，不能照搬 os.killpg()。可以在 Popen 中设置 CREATE_NEW_PROCESS_GROUP，超时后针对已确认的 PID 执行 taskkill /T，让系统递归处理它的子进程。/F 会强制结束，应只用于明确归属当前任务的 PID。

import subprocess

def run_windows_with_tree_timeout(argv, timeout):
    # 新进程组用于隔离当前任务；shell=True 不应由外部输入直接控制。
    flags = subprocess.CREATE_NEW_PROCESS_GROUP
    proc = subprocess.Popen(
        argv,
        creationflags=flags,
        stdout=subprocess.PIPE,
        stderr=subprocess.PIPE,
        text=True,
    )
    try:
        return proc.communicate(timeout=timeout)
    except subprocess.TimeoutExpired:
        # /T 递归结束子进程，/F 是最后手段，PID 必须来自本次 Popen。
        subprocess.run(
            ["taskkill", "/PID", str(proc.pid), "/T", "/F"],
            check=False,
            capture_output=True,
            text=True,
        )
        stdout, stderr = proc.communicate()
        return stdout, stderr

如果程序需要跨平台封装，建议先用 sys.platform 分支选择清理策略，并把“任务是否允许强制结束”写入配置。Windows 服务、作业对象、权限策略以及由服务管理器接管的进程，可能需要更专门的生命周期管理；不要假设一个命令行示例能够覆盖这些托管环境。

清理完成后的检查清单与常见边界

还要留意三个边界：第一，子进程可能主动创建新的 session 或交给其他服务管理，这时原进程组不再覆盖全部后代；第二，输出量很大时必须持续使用 communicate() 或其他非阻塞收集方式；第三，清理进程并不等于撤销它已经提交的外部副作用，数据库写入和远端任务仍需幂等设计。

常见问题

为什么 proc.kill() 后还有 Python 子进程？

因为它默认只针对 Popen 返回的直接进程。若命令又派生了子进程，应在启动时建立 session/process group，再按组清理。

超时后直接调用 wait() 可以吗？

不建议把它作为管道回收方案。捕获 TimeoutExpired 后先终止目标，再调用额外的 communicate()，这样才能等待退出并处理 stdout/stderr。

Windows 能不能用 os.killpg()？

不能按 POSIX 方式使用。Windows 应采用它自己的进程组和递归终止策略，并对 PID 归属、权限和强制结束后果做明确限制。