Python TensorFlow 2.x CPU内存占用高？限制线程数解决

TensorFlow 2.x 在 CPU 上内存与线程占用异常高，并非代码缺陷，而是其默认将单算子内并行（intra-op）和算子间调度（inter-op）线程数设为物理核心数，导致多线程争抢资源、CPU 持续满载；通过及时调用 `tf.config.threading.set_intra_op_parallelism_threads` 和 `set_inter_op_parallelism_threads`（须在 import 后、任何 TF 操作前执行），或更稳妥地预先设置环境变量 `TF_NUM_INTRAOP_THREADS` 与 `TF_NUM_INTEROP_THREADS`，可精准控制线程规模，显著降低 CPU 占用、提升资源隔离性与稳定性——尤其在容器化、混部或多进程训练场景下，这一配置比调整 batch size 或模型结构更为直接有效。

TensorFlow 2.x 默认会打满 CPU 所有核心，不是因为代码写错了，而是它在 eager 模式下仍默认启用多线程算子内并行（intra_op_parallelism_threads）和算子间调度（inter_op_parallelism_threads），且这两个值默认等于物理核心数。

tf.config.threading.set_intra_op_parallelism_threads 必须在 import 后立即设置

这个函数控制单个算子（比如 tf.matmul、tf.nn.conv2d）内部用几个线程跑。设为 1 就强制每个矩阵乘法只用 1 个线程，避免多个算子各自开满线程导致总占用爆炸。

• 必须放在 import tensorflow as tf 之后、任何张量创建或 @tf.function 定义之前——哪怕你只是调了一次 tf.constant(1)，再调这个设置就无效了
• 设为 0 或负数会直接抛 ValueError: Number of threads must be positive
• 设为 1 是最保守的选择；设为 2 或 4 更适合容器环境或混部场景，兼顾吞吐与资源隔离

tf.config.threading.set_inter_op_parallelism_threads 控制算子并发粒度

它决定「多少个独立算子可以同时被调度执行」。比如一个前向传播里有 conv2d → relu → max_pool 三个 op，设为 1 就串行执行，设为 4 就可能让它们分发到不同线程并发跑。

• 它和 intra_op 是正交的：总线程压力 ≈ intra_op × inter_op（但受 OS 调度影响，非严格相乘）
• 在 32 核机器上设 inter_op=64 不会提升性能，反而因上下文切换拖慢整体速度
• 如果你发现 htop 里 Python 进程显示几十个线程且 CPU 占用持续 90%+，大概率是这个值没压下来

环境变量 TF_NUM_INTRAOP_THREADS 和 TF_NUM_INTEROP_THREADS 优先级更高

如果在启动 Python 前设置了这两个环境变量，它们会覆盖代码里的 tf.config.threading.set_* 调用。这在 Docker 或 Slurm 环境中很常见，容易让人误以为代码没生效。

• 检查方式：运行 print(os.environ.get("TF_NUM_INTRAOP_THREADS"))，别只信代码里写了 set
• 推荐做法：统一用环境变量配置，比如启动前 export TF_NUM_INTRAOP_THREADS=2; export TF_NUM_INTEROP_THREADS=2
• 若必须用代码设置，确保没有其他地方（如父进程、shell 配置文件）预先设置了同名环境变量

PyTorch 用户注意：torch.set_num_threads 不等于 OMP/MKL 设置

PyTorch 的线程控制是三层嵌套的：torch.set_num_threads(n) 只管 PyTorch 自己的 kernel；OMP_NUM_THREADS=n 控制 OpenMP（如某些 CPU backend）；MKL_NUM_THREADS=n 控制 Intel MKL（常用于矩阵运算）。三者不一致会导致实际线程数混乱。

• 必须同时设三者，且值相同，否则某个库可能偷偷开满所有核
• 设 num_workers=0 在 DataLoader 中不会降低 CPU 占用，反而可能让主线程扛住全部数据预处理，造成单核 100% 锁死
• tensor 还在 CPU 上（没调 .to('cuda')）时，所有计算都走 CPU，此时限制线程数比调 batch size 更直接有效

真正容易被忽略的是：这些设置对多进程训练（如 tf.distribute.MirroredStrategy 或 torch.multiprocessing）完全不跨进程生效——每个 worker 进程都得自己单独调一次 set_intra_op_parallelism_threads，不能只在主进程设。

文中关于的知识介绍，希望对你的学习有所帮助！若是受益匪浅，那就动动鼠标收藏这篇《Python TensorFlow 2.x CPU内存占用高？限制线程数解决》文章吧，也可关注golang学习网公众号了解相关技术文章。