Python爬虫监控方法与状态查看教程

编程并不是一个机械性的工作，而是需要有思考，有创新的工作，语法是固定的，但解决问题的思路则是依靠人的思维，这就需要我们坚持学习和更新自己的知识。今天golang学习网就整理分享《Python爬虫监控方案及状态查看教程》，文章讲解的知识点主要包括，如果你对文章方面的知识点感兴趣，就不要错过golang学习网，在这可以对大家的知识积累有所帮助，助力开发能力的提升。

Python爬虫必须闭环监控：用psutil实时查进程状态与资源、APScheduler+Redis定时上报心跳、RotatingFileHandler防日志爆盘、Flask提供健康接口，细节如时间戳对齐和降级逻辑需压测验证。

Python爬虫跑起来之后就黑盒了？不是等报错才发现挂了，就是日志里翻半天才看出卡在哪——这种监控不是“可有可无”，而是上线前必须闭环的事。

用 psutil 实时查进程存活与资源占用

靠 ps aux | grep spider.py 手动查太原始，且无法判断是否假死。用 psutil 可以在 Python 内部直接读取自身或子进程状态，还能捕获 CPU、内存、线程数异常。

• 安装：pip install psutil
• 检查主进程是否存活：psutil.pid_exists(os.getpid())
• 查当前爬虫子进程（如用了 scrapy crawl 或 subprocess.Popen）：psutil.Process(pid).status() 返回 'running' / 'sleeping' / 'zombie'
• 内存超阈值预警（比如 > 800MB）：psutil.Process().memory_info().rss > 800 * 1024 * 1024

用 APScheduler 定期上报心跳到 Redis

光本地查不够，得让外部系统（比如 Grafana、告警平台）能感知。最轻量的方案是爬虫自己定时往 Redis 写个带 TTL 的 key，外部轮询即可。

• 安装：pip install apscheduler redis
• 启动时注册一个每 30 秒执行一次的 job：BackgroundScheduler().add_job(heartbeat, 'interval', seconds=30)
• heartbeat() 函数只需做两件事：连接 Redis，执行 r.setex('spider:my_spider:alive', 60, int(time.time()))
• 注意：TTL 设为上报间隔的 2 倍（如 60 秒），避免网络抖动导致误判下线

日志中埋点 + logging.handlers.RotatingFileHandler 防爆盘

很多爬虫崩溃是因为日志狂打没限速，或者写满磁盘后 open() 失败直接退出。别只靠 print，要用结构化日志+滚动策略。

• 关键节点打日志：请求开始、解析成功、入库完成、重试第 N 次——都用 logger.info() 并带上 url、status_code、item_count 等字段
• 避免单文件无限增长：RotatingFileHandler(filename='spider.log', maxBytes=10*1024*1024, backupCount=5)
• 错误必须 logger.exception()，否则堆栈信息会丢
• 别把敏感字段（如 cookies、token）直接打到日志里，先脱敏再记录

用 Flask 搭个极简状态页（不暴露源码）

运维或产品临时想看一眼运行情况，总不能让人 SSH 登上去翻日志。起个只有 GET 接口的轻量服务，返回 JSON 即可，连模板都不用。

from flask import Flask, jsonify
import psutil
import redis
app = Flask(name)
r = redis.Redis()
@app.route('/health')
def health():
return jsonify({
'pid': psutil.os.getpid(),
'status': 'running' if psutil.pid_exists(psutil.os.getpid()) else 'dead',
'mem_mb': psutil.Process().memory_info().rss // 1024 // 1024,
'last_heartbeat': r.get('spider:my_spider:alive'),
'uptime_seconds': int(time.time()) - psutil.Process().create_time()
})

启动命令加个 --host=0.0.0.0 --port=8001 --threaded，然后用 nginx 反代并加基础鉴权（比如 HTTP Basic Auth），别直接暴露到公网。

真正难的不是搭这些组件，而是统一时间戳、对齐心跳周期、处理 Redis 连接中断时的降级逻辑——这些细节不压测一遍，上线后第一波流量就会暴露出来。

以上就是《Python爬虫监控方法与状态查看教程》的详细内容，更多关于的资料请关注golang学习网公众号！