宝塔面板服务器卡死排查方法

当服务器出现“卡死”但SSH仍能连接、宝塔面板打不开、网页超时、命令响应迟缓等典型症状时，问题往往并非CPU过载，而是磁盘IO严重阻塞触发了Linux内核的自我保护机制——dmesg日志中出现“task xxx blocked for more than 120 seconds”就是关键铁证，表明内核已判定进程假死并可能交由OOM Killer强制终止（即使内存充足）；通过精准过滤dmesg、结合iostat和iotop定位高IO进程、检查高频写入目录（如/www/wwwlogs、/tmp），并辅以journalctl交叉验证，可快速揪出rsync、mysqldump或日志疯写等真实元凶，避免误判为硬盘故障而延误处置——这行看似简单的日志，实则是系统濒临全面失联前最紧迫的急救信号。

确认IO阻塞是否触发了内核级kill

服务器“卡死”但SSH还能连上，面板打不开、网页超时、命令响应迟缓——这类症状大概率不是CPU跑满，而是磁盘IO彻底堵死，Linux内核被迫介入干预。此时dmesg日志里会留下关键证据，它不依赖宝塔自身日志，是系统最底层的“急救记录”。

• 执行 dmesg | grep -i -E "blocked on io|io pressure|task .* blocked"，重点看有没有类似 task php-fpm blocked for more than 120 seconds 的输出
• 如果有，说明某个进程在等磁盘响应超过2分钟，内核已判定其“假死”，后续可能直接被OOM Killer干掉（哪怕内存没爆）
• 注意时间戳：用 dmesg -T | tail -20 查带时区的最近20条，和你发现卡顿的时间比对，避免误判历史残留记录

区分IO卡死和普通高负载

dmesg报IO blocked，不代表一定是硬盘坏了，更常见的是进程写疯了日志、备份脚本没限速、或者MySQL在刷redo log。盲目查SMART或换硬盘反而耽误事。

• 先跑 iostat -x 1，盯住 %util 和 await：如果 %util 长期 >95% 且 await >100ms，才是真饱和；若 %util 只有60%但 await 爆表，可能是单个大文件随机读写拖垮了HDD
• 再用 iotop -oP 找出真实凶手——别只看CPU高的进程，DISK WRITE 刷到 20MB/s 的 rsync 或 mysqldump 才是元凶
• 特别警惕 /tmp、/www/wwwlogs、/www/server/panel/logs 这几个目录下的疯狂写入，lsof -p [PID] 能快速定位它在往哪个文件狂追加

为什么dmesg里找不到IO blocked记录？

不是没发生，很可能是日志被刷掉了。默认dmesg缓冲区只有16KB，高频IO问题反复出现时，旧记录早被覆盖。

• 立刻执行 dmesg -c 清空当前缓冲，并马上复现一次卡顿（比如手动触发一次大日志写入），再跑 dmesg | grep blocked
• 更稳妥的做法是持久化捕获：运行 while true; do dmesg | grep -i blocked >> /var/log/io-blocked.log; sleep 5; done &，后台持续监听
• 如果仍无输出，检查内核参数：cat /proc/sys/vm/block_dump 应为0（默认关闭），开启它会严重拖慢系统，仅调试时临时设为1

结合/var/log/messages交叉验证

dmesg 是环形缓冲，/var/log/messages（或 journalctl -b）才是落盘的“正式档案”，两者时间点对得上，才能锁定真实事件链。

• 执行 journalctl -b | grep -i "io\|block\|hung_task"，比 dmesg 更易过滤上下文
• 若看到 INFO: task mysqld blocked for more than 120 seconds 同时伴随 mysql.sock connect timeout，基本可断定是MySQL写盘卡死导致整个连接池雪崩
• 注意：海外服务器访问 api.bt.cn 失败也会引发面板HTTP请求堆积，表现为“卡”但dmesg干净——这时要查 tail -f /www/server/panel/logs/error.log 里的超时堆栈

真正难搞的不是IO卡死本身，而是它常伪装成内存不足、网络超时甚至DNS失败。dmesg里那行“blocked for more than 120 seconds”就像心电图上的室颤波形，出现一次就得立刻停掉对应进程，否则下次卡死可能连SSH都进不去。

以上就是《宝塔面板服务器卡死排查方法》的详细内容，更多关于的资料请关注golang学习网公众号！