Python 怎么监控内存使用并在泄漏时自动报警?
本篇文章主要是结合我之前面试的各种经历和实战开发中遇到的问题解决经验整理的,希望这篇《Python 怎么监控内存使用并在泄漏时自动报警?》对你有很大帮助!欢迎收藏,分享给更多的需要的朋友学习~
用psutil.Process(os.getpid()).memory_info().rss可准确获取Python进程真实内存占用(RSS),避免sys.getsizeof()等仅统计Python对象的局限;需每1–5秒采样,结合斜率与GC回落判断泄漏,多进程须独立监控,C扩展内存需依赖RSS趋势识别。

怎么用 psutil 实时查 Python 进程内存占用
直接靠 sys.getsizeof() 或 gc.get_objects() 无法反映真实内存压力,它们只统计 Python 对象堆内大小,不包含 C 扩展、mmap、共享库等。真正可靠的是从操作系统层面读进程 RSS(Resident Set Size)。
用 psutil 是最轻量且跨平台的选择:
import psutil import osp = psutil.Process(os.getpid()) rss_mb = p.memory_info().rss / 1024 / 1024 # 转 MB print(f"当前 RSS: {rss_mb:.1f} MB")
- 务必用
p.memory_info().rss,不是vms(虚拟内存不可靠) - Linux 下 RSS 基本等于“实际占物理内存”,Windows/macOS 行为略有差异但足够用于趋势判断
- 不要在循环里频繁调用——
psutil.Process()初始化有开销,建议每 1–5 秒采样一次
怎么定义“内存泄漏”并触发报警
内存泄漏不是“内存一直涨”,而是“持续增长且不回落”。单纯设阈值(如 >500MB)容易误报,比如临时大文件处理。
更稳妥的方式是监控**增长斜率 + 回落失败**:
- 记录最近 N 次 RSS 值(例如 10 次,间隔 3 秒)
- 用线性拟合或简单差分判断是否连续 5 次上涨,且涨幅 >5MB/次
- 同时检查 GC 是否有效:调用
gc.collect()后 RSS 下降 - 报警前再 sleep 1 秒重采一次,排除瞬时毛刺
示例逻辑片段:
import gc
# ... rss_history 维护一个 deque(maxlen=10)
if len(rss_history) == 10 and all(rss_history[i] rss_history[-1] * 0.99: # 未回落超 1%
trigger_alert(rss_after_gc)
报警该怎么做才不被忽略
发个 print() 或写日志基本等于没报。真要起作用,得打通运维链路:
- 写入本地告警文件(如
/tmp/memory_alert.pid),配合 systemd 的PathExists监控自动拉起处理脚本 - 调用企业微信/钉钉 Webhook(注意加签名和限频,避免刷屏)
- 向 Prometheus Pushgateway 推送指标(
memory_leak_detected{pid="12345"} 1),再由 Alertmanager 发通知 - 切忌用
smtplib自建邮件——SMTP 很容易被当垃圾邮件拦截,且无送达反馈
为什么多线程/多进程下容易误判
psutil.Process(os.getpid()) 在子线程里仍返回主进程,没问题;但如果你用 multiprocessing,每个子进程需独立监控——父进程无法直接看到子进程 RSS。
- 子进程启动时,手动传入监控开关和告警通道(如 queue 或 pipe)
- 避免用
fork后的进程继承父进程监控逻辑,因为 fork 时 RSS 会虚高(写时复制未触发) - 若用
concurrent.futures.ProcessPoolExecutor,建议改用ThreadPoolExecutor配合对象池复用,从源头减少进程级内存震荡
最常被忽略的一点:C 扩展(如 numpy、pandas、cv2)分配的内存不经过 Python GC,RSS 上涨但 gc.get_count() 完全不动——这类泄漏只能靠 RSS 趋势发现,无法靠对象计数定位。
理论要掌握,实操不能落!以上关于《Python 怎么监控内存使用并在泄漏时自动报警?》的详细介绍,大家都掌握了吧!如果想要继续提升自己的能力,那么就来关注golang学习网公众号吧!
身上磕青了怎么快速消肿散瘀 24小时内冷敷还是热敷的正确顺序
- 上一篇
- 身上磕青了怎么快速消肿散瘀 24小时内冷敷还是热敷的正确顺序
- 下一篇
- 如何用Minimax进行竞品分析:快速提取商业核心数据
-
- 文章 · python教程 | 21小时前 | Python教程 · Python 鸭子类型 typing.Protocol 结构子类型
- Python typing.Protocol 约束鸭子类型接口
- 246浏览 收藏
-
- 文章 · python教程 | 1天前 | Python教程 · Python 相对路径 is_file pathlib Path.resolve
- Python pathlib 相对路径规范化与文件判断
- 144浏览 收藏
-
- 文章 · python教程 | 1天前 | python · 异步编程 · asyncio · Python CancelledError asyncio.timeout TimeoutError
- Python asyncio.timeout 嵌套取消与异常传播
- 373浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python heapq 最大堆 API 怎么避免手动取负数
- 397浏览 收藏
-
- 文章 · python教程 | 1天前 | python · Python 不可变对象 namedtuple dataclass copy.replace
- Python copy.replace 怎么更新不可变对象字段
- 245浏览 收藏
-
- 文章 · python教程 | 2天前 | python ·
- Python NamedTemporaryFile 的 delete_on_close 怎么设置
- 311浏览 收藏
-
- 文章 · python教程 | 2天前 |
- Python itertools.batched strict 参数什么时候会报错
- 306浏览 收藏
-
- 文章 · python教程 | 2天前 |
- Python ExceptionGroup split 怎么按异常类型拆分
- 311浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 264次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 316次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 300次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 273次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 93次使用
-
- Python sqlite3 Connection serialize 怎么导出数据库快照:备份窗口、内存占用与恢复校验
- 2026-08-26 501浏览
-
- Python监控网页状态:requests异常处理实战
- 2026-05-29 501浏览
-
- TensorFlow模型部署为API的TF Serving方法
- 2026-05-26 501浏览
-
- Python字符串编码转换:encode与decode详解
- 2026-05-16 501浏览
-
- TensorFlow裁剪无用算子方法详解
- 2026-05-15 501浏览
