Linux 磁盘还有空间却写入失败排查：从 inode 到已删除文件占用

Linux 服务器上遇到 No space left on device 时，第一反应通常是看 df -h。但有时结果很反直觉：磁盘块空间明明还有不少，应用却写不进去日志、临时文件或缓存文件。

这种问题不能只盯着容量百分比。我们需要把“块空间够不够”“inode 是否用尽”“文件是否已经删除但仍被进程占用”“写入目录是不是另一个挂载点”拆开检查。下面用一次排查过程把这几条线走清楚。

问题现场：df -h 有空间，写入却失败

假设应用写日志时报错：

No space left on device

我们先看容量：

df -h /var/log

输出类似这样：

挂载源          Size  Used Avail Use% Mounted on
/dev/vda1        40G   28G   10G  74% /

还有 10G 可用，为什么写不进去？这时先不要马上删大文件，应该确认报错目录到底消耗的是哪类资源。

初步判断：空间问题不只有容量百分比

Linux 写文件至少会消耗两类资源：数据块和 inode。数据块存文件内容，inode 记录文件元信息。大文件多时常见的是块空间不足；小文件特别多时，可能块空间还够，但 inode 已经用尽。

还有一个常见误区：文件被删除后，如果仍有进程打开它，目录里看不到这个文件，但空间可能还没有立刻释放。日志轮转、手动删除大日志、服务长期运行时都可能遇到。

动手验证：先同时看 df -h 和 df -i

第一步同时看容量和 inode：

df -h /var/log
df -i /var/log

如果 df -h 不满，但 df -i 显示 IUse% 接近 100%，说明不是大文件撑满容量，而是文件数量太多。

挂载源         Inodes  IUsed IFree IUse% Mounted on
/dev/vda1     2621440 2621000   440  100% /

第二步找到小文件集中在哪些目录。可以先在可疑目录粗略统计：

find /var/log -xdev -type f | wc -l
find /tmp -xdev -type f | wc -l
find /var/cache -xdev -type f | wc -l

如果某个目录数量异常，再看更细一层：

find /var/log -xdev -type f | sed 's#/[^/]*$##' | sort | uniq -c | sort -nr | head

第三步检查是否存在“已删除但仍占用”的文件：

lsof +L1

如果输出里看到某个日志文件标记为 deleted，且大小很大，说明目录里已经看不到它，但占用还没有释放。

定位原因：小文件太多或已删文件仍被占用

到这里通常会落到三类原因。

注意不要一上来就删除整个目录。先确认哪些文件可以清理，哪些文件正在被服务使用，哪些是业务需要保留的产物。

修复方案：安全清理、释放句柄和控制增长

如果是 inode 用尽，优先清理可确认无用的小文件。例如临时上传残留、过期缓存、旧的分片文件。清理前建议先统计和抽样：

find /tmp/myapp -xdev -type f | head
find /tmp/myapp -xdev -type f -mtime +7 | wc -l

确认规则后再删除过期文件。对于重要目录，建议先移动到隔离目录观察，再做最终清理。

如果是已删除文件仍被进程占用，处理思路是让进程重新打开文件。常见方式包括触发日志重开、平滑重载服务，或在业务允许的窗口重启对应进程。

后续还要给增长加边界：

• 日志目录设置轮转规则，避免单文件无限增长。
• 临时目录定期清理过期文件，按天数或业务状态判断。
• 小文件高频生成的业务，考虑按日期分目录，便于统计和清理。
• 监控同时看容量使用率和 inode 使用率，不只看 df -h。

验证结果：重新写入并复查空间指标

修复后要验证三件事。第一，写入动作是否恢复：

echo test > /var/log/write-check.tmp
rm /var/log/write-check.tmp

第二，复查容量和 inode：

df -h /var/log
df -i /var/log

第三，确认没有大体积 deleted 文件继续占用：

lsof +L1

如果写入恢复、IUse% 回落、且没有异常占用，说明这次清理闭环完成。接下来把监控和清理规则补上，避免同类问题再次出现。

总结清单：磁盘写入失败按这几步查

1. 对真实写入路径运行 df -h，确认块空间。
2. 运行 df -i，确认 inode 是否用尽。
3. 用 find 统计小文件集中目录。
4. 用 lsof +L1 检查已删除但仍被占用的文件。
5. 清理前先抽样和计数，避免误删业务文件。
6. 清理后重新写入测试，并复查 df -h、df -i。
7. 补上日志轮转、临时文件清理和 inode 监控。

这类问题的关键是不要只看一个百分比。容量、inode、打开文件和挂载点四条线同时看，才能把“明明有空间却写不进去”的问题定位完整。