Linux wget递归下载网站教程

本文深入解析了 Linux wget 递归下载网站的实用技巧与关键陷阱，强调默认 -r 参数极易失控——盲目抓取跨域 CDN、第三方脚本和广告资源，带来法律与性能风险；对比介绍了更安全的 -m 镜像模式及其必须搭配的 -D（限定域名）、-np（禁止向上遍历）、-R（排除动态文件）和 -k（本地化链接）等核心约束参数，并针对“仅需静态页面及内联资源”的常见需求，推荐精准高效的 -p+k+nd 组合；同时点破两大隐形雷区：robots.txt 导致意外中止，以及 -N 时间戳同步在现代静态站上的失效问题，提供可落地的替代方案。

wget 能递归下载整个网站，但**默认行为极容易失控**——它会顺着所有超链接爬出去，把别人家的 CDN、第三方 JS、甚至广告平台全拖下来。别直接上 -r。

为什么 wget -r 会下错东西？

递归模式（-r）本质是「解析 HTML 中所有 a、img、script 标签里的 URL 并尝试下载」。问题在于：

• 不区分相对路径和绝对路径，href="https://cdn.example.com/logo.png" 也会被拉取
• 不检查 robots.txt（除非加 -m 或显式 --restrict-file-names=windows 配合 --user-agent）
• 遇到重定向或 302 响应时可能跳到完全无关域名

wget -m 是更安全的镜像起点

-m（mirror）不是单纯开关，它自动启用一组保守参数：-r -N -l inf --no-remove-listing，并尊重 robots.txt。但它仍可能跨域，所以必须配合约束：

• 用 -D example.com 限定只下载指定域名（支持逗号分隔多个，如 -D example.com,cdn.example.com）
• 加 --no-parent（简写 -np）禁止向上翻目录，避免爬到根路径外
• 用 -R "cgi-bin/*,*.php,*.asp" 排除动态脚本（防止触发服务端逻辑）
• 加 --convert-links（简写 -k）把下载后的链接转为本地可点击格式

典型命令：wget -m -np -k -D mysite.com -R "*.pdf,*.zip" https://mysite.com/

下载静态资源但不执行 JS/CSS 的真实需求

很多场景其实只要 HTML + 图片 + CSS，不要 JS 执行结果或 API 返回内容。这时：

• --page-requisites（简写 -p）会下载 HTML 引用的所有资源（CSS、图片、字体），但不会递归抓取这些资源里的链接
• 必须搭配 -k，否则本地打开 HTML 时路径仍是远程地址
• 加 --no-host-directories（简写 -nd）把所有文件平铺到当前目录，避免生成 mysite.com/ 子目录
• 如果目标站用了 WebP 或 AVIF 图片，而你的系统 wget 版本太老（picture 标签里的 source，得手动补

示例：wget -p -k -nd https://mysite.com/about.html

最容易被忽略的两个坑

一是 robots.txt 处理：即使加了 -m，如果目标站 robots.txt 把 / 拒绝了，wget 会直接退出——得加 --ignore-robots（不推荐，仅调试用）；二是时间戳同步：-N 依赖服务器返回的 Last-Modified 头，但很多 CDN 或 S3 静态站根本不发这个头，导致每次重跑都重复下载。这种情况下，--timestamping 反而比 -N 更可靠。

今天带大家了解了的相关知识，希望对你有所帮助；关于文章的技术知识我们会一点点深入介绍，欢迎大家关注golang学习网公众号，一起学习编程~