cProfile Python性能分析使用教程
cProfile 是 Python 自带的轻量级性能分析利器,无需安装额外依赖即可快速定位纯 Python 代码中的性能瓶颈,核心在于聚焦 `tottime` 字段——它精准反映函数自身逻辑的耗时,排除子调用干扰;既支持命令行一键启动(`python -m cProfile`),也允许在代码中通过 `cProfile.Profile()` 精准控制分析范围,再借助 `pstats` 按需排序、过滤和可视化;但需牢记其局限:对 I/O 等待、C 扩展内部及多线程行为“视而不见”,遇到这些场景需搭配 strace、py-spy 或 perf 等工具深入挖掘——掌握 cProfile 的正确用法与认知边界,才是高效性能调优的第一步。

怎么用 cProfile 快速定位慢函数
cProfile 是 Python 自带的确定性性能分析器,不用装额外包,适合快速抓出耗时最多的函数。它统计的是每个函数被调用次数、总耗时(tottime)、每次调用平均耗时(percall)以及累计耗时(cumtime)——真正要盯的是 tottime,它排除了子调用开销,反映函数自身逻辑的真实瓶颈。
最简启动方式:
python -m cProfile your_script.py
如果脚本需要参数,直接跟在后面即可;想把结果存成文件便于后续排序或过滤,加 -o:
python -m cProfile -o profile.out your_script.py
tottime高 ≠ 问题一定在该函数里,可能它调用了没 profile 到的 C 扩展(比如 NumPy 内部)- 避免在 Jupyter 中直接用
%prun分析整个 notebook:它会把所有 cell 合并统计,掩盖单个函数的真实上下文 - 若脚本启动快但某段逻辑慢(如处理特定输入),不要 profile 全流程,改用代码内嵌方式,只测关键段
如何在代码中精准 profile 某段逻辑
用 cProfile.Profile() 实例手动控制启停,比全局命令更灵活,尤其适合反复运行的函数或 Web 请求中的 handler。
示例:
import cProfile import pstatsprofiler = cProfile.Profile() profiler.enable()
这里放你想测的代码,比如:
result = some_heavy_function(data)
profiler.disable() profiler.dump_stats("section.prof")
之后用 pstats 加载分析:
stats = pstats.Stats("section.prof")
stats.sort_stats("tottime").print_stats(10)enable()和disable()必须成对出现,漏掉disable()会导致后续所有 Python 代码都被 profile,拖慢整体执行- 不要在循环内部反复
enable()/disable():开销本身会污染数据;应把整个循环包进去,再看单次迭代均值 dump_stats()的路径必须有写权限,且注意多进程下别多个 worker 写同一个文件,会覆盖
怎么看懂 pstats 输出里的关键字段
pstats 输出默认按调用顺序排,基本无意义。必须用 sort_stats() 排序,常用键有:
"tottime":函数自身耗时(不含子调用),找“纯 Python 逻辑慢”的首选"cumtime":从进入该函数到返回的总时间(含所有子调用),适合查“谁拖累了整个调用链”"ncalls":调用次数,配合tottime看是否高频小函数成了瓶颈(比如反复字符串拼接)
还可以过滤聚焦:
stats.filter_stats("my_module") # 只看某个模块
stats.print_stats("parse_") # 只打包含 parse_ 的函数注意:print_stats(10) 是打印前 10 行,不是“只统计 10 个函数”;如果想限制输出宽度,用 strip_dirs() 去掉完整路径,避免列宽溢出。
cProfile 的典型盲区和替代建议
cProfile 是函数级采样,对以下情况完全无能为力:
- I/O 等待(如
requests.get()、open())会被记为函数自身耗时,但它实际卡在系统调用上,cProfile 看不出是网络慢还是磁盘慢 - C 扩展(如 Pandas、NumPy 大部分操作)只显示顶层 Python 调用,内部 C 循环不展开
- 多线程程序中,cProfile 默认只 profile 主线程,其他线程的函数调用不会被记录
遇到这些情况,得换工具:
- 查 I/O:用
strace -T -e trace=network,file your_program(Linux)或py-spy record -o profile.svg --pid $PID - 查 C 扩展内部:需编译 debug 版 Python + gdb,或用
perf(Linux)做底层采样 - 查多线程:加
threading.setprofile()配合自定义 profiler,或直接上py-spy(它基于 ptrace,天然支持多线程)
cProfile 不是万能的起点,但它是唯一无需额外依赖、能立刻告诉你“哪个函数在拖后腿”的工具——前提是,你清楚它不统计什么。
终于介绍完啦!小伙伴们,这篇关于《cProfile Python性能分析使用教程》的介绍应该让你收获多多了吧!欢迎大家收藏或分享给更多需要学习的朋友吧~golang学习网公众号也会发布文章相关知识,快来关注吧!
Yii框架队列使用与RabbitMQ集成教程
- 上一篇
- Yii框架队列使用与RabbitMQ集成教程
- 下一篇
- 网易云音乐网页版入口及在线播放器
-
- 文章 · python教程 | 8小时前 |
- Python heapq 最大堆 API 怎么避免手动取负数
- 397浏览 收藏
-
- 文章 · python教程 | 13小时前 | python · Python 不可变对象 namedtuple dataclass copy.replace
- Python copy.replace 怎么更新不可变对象字段
- 245浏览 收藏
-
- 文章 · python教程 | 17小时前 | python ·
- Python NamedTemporaryFile 的 delete_on_close 怎么设置
- 311浏览 收藏
-
- 文章 · python教程 | 23小时前 |
- Python itertools.batched strict 参数什么时候会报错
- 306浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python ExceptionGroup split 怎么按异常类型拆分
- 311浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python dataclass slots 与 weakref_slot 怎么一起用
- 207浏览 收藏
-
- 文章 · python教程 | 1天前 | python · Python tarfile extraction_filter data_filter
- Python tarfile extraction_filter 怎么阻止危险路径
- 232浏览 收藏
-
- 文章 · python教程 | 1天前 |
- Python pathlib.Path.walk 怎么剪枝目录遍历
- 159浏览 收藏
-
- 文章 · python教程 | 1天前 | python · SQLite · Python sqlite3 autocommit isolation_level SQLite事务
- Python sqlite3 autocommit 与 isolation_level 怎么配合
- 378浏览 收藏
-
- 文章 · python教程 | 2天前 | 并发 · 异步编程 · Python教程 · Python 任务调度 asyncio eager_task_factory
- Python asyncio eager task factory 什么时候会改变执行顺序
- 497浏览 收藏
-
- 前端进阶之JavaScript设计模式
- 设计模式是开发人员在软件开发过程中面临一般问题时的解决方案,代表了最佳的实践。本课程的主打内容包括JS常见设计模式以及具体应用场景,打造一站式知识长龙服务,适合有JS基础的同学学习。
- 543次学习
-
- GO语言核心编程课程
- 本课程采用真实案例,全面具体可落地,从理论到实践,一步一步将GO核心编程技术、编程思想、底层实现融会贯通,使学习者贴近时代脉搏,做IT互联网时代的弄潮儿。
- 516次学习
-
- 简单聊聊mysql8与网络通信
- 如有问题加微信:Le-studyg;在课程中,我们将首先介绍MySQL8的新特性,包括性能优化、安全增强、新数据类型等,帮助学生快速熟悉MySQL8的最新功能。接着,我们将深入解析MySQL的网络通信机制,包括协议、连接管理、数据传输等,让
- 500次学习
-
- JavaScript正则表达式基础与实战
- 在任何一门编程语言中,正则表达式,都是一项重要的知识,它提供了高效的字符串匹配与捕获机制,可以极大的简化程序设计。
- 487次学习
-
- 从零制作响应式网站—Grid布局
- 本系列教程将展示从零制作一个假想的网络科技公司官网,分为导航,轮播,关于我们,成功案例,服务流程,团队介绍,数据部分,公司动态,底部信息等内容区块。网站整体采用CSSGrid布局,支持响应式,有流畅过渡和展现动画。
- 485次学习
-
- PubMedQA
- 深入了解PubMedQA生物医学问答数据集,涵盖其核心功能、使用方法及在临床决策、药物研发等场景的应用,助力提升NLP模型性能。
- 254次使用
-
- H2O EvalGPT
- H2O EvalGPT是H2O.ai推出的开源LLM评估平台,提供详细的大模型性能排行榜、行业特定基准测试及A/B测试功能,助您快速选择最适合项目的高性能大语言模型。
- 298次使用
-
- LMArena
- LMArena是加州大学伯克利分校推出的AI模型匿名评测平台。通过盲测投票机制,用户可对比不同大模型回答并生成实时排行榜,助力开发者优化模型及用户选择最佳AI工具。
- 272次使用
-
- HELM
- 深入了解斯坦福推出的HELM(Holistic Evaluation of Language Models)大模型评测体系。本文解析其核心功能、安装配置步骤及应用场景,涵盖准确性、公平性、鲁棒性等多维度指标,助力开发者全面优化语言模型性能。
- 251次使用
-
- MMBench
- MMBench是由上海人工智能实验室等机构联合推出的多模态基准测试平台,提供细粒度能力评估、大规模数据集及VLMEvalKit工具。本文详细介绍其核心功能、安装使用方法及应用场景,助力开发者全面评估多模态模型性能。
- 58次使用
-
- Python sqlite3 Connection serialize 怎么导出数据库快照:备份窗口、内存占用与恢复校验
- 2026-08-26 501浏览
-
- Python监控网页状态:requests异常处理实战
- 2026-05-29 501浏览
-
- TensorFlow模型部署为API的TF Serving方法
- 2026-05-26 501浏览
-
- Python字符串编码转换:encode与decode详解
- 2026-05-16 501浏览
-
- TensorFlow裁剪无用算子方法详解
- 2026-05-15 501浏览
