设置robots.txt文件与爬虫规则详解

在IT行业这个发展更新速度很快的行业，只有不停止的学习，才不会被行业所淘汰。如果你是文章学习者，那么本文《如何设置robots.txt文件及爬虫规则配置》就很适合你！本篇内容主要包括##content_title##，希望对大家的知识积累有所帮助，助力实战开发！

首先创建robots.txt文件并放置于网站根目录，通过User-agent、Disallow、Allow和Sitemap指令控制爬虫访问；其次可选使用PHP动态生成内容并配合.htaccess重写规则；最后通过Google Search Console等工具验证配置是否生效。

要为PHP网站设置robots.txt文件以控制搜索引擎爬虫的抓取行为，其实并不依赖于PHP本身，而是通过在网站根目录下放置一个名为 robots.txt 的纯文本文件来实现。以下是具体配置方法和注意事项。

1. 创建 robots.txt 文件

robots.txt 是一个标准的文本文件，用于告诉搜索引擎哪些页面可以抓取，哪些不可以。它必须放在网站的根目录下（如：https://www.example.com/robots.txt）。

使用任意文本编辑器创建该文件，内容格式遵循 Robots Exclusion Protocol 标准。

示例内容：

User-agent: *
Disallow: /admin/
Disallow: /temp/
Disallow: /includes/
Allow: /public/
<p>Sitemap: <a target='_blank'  href='https://www.17golang.com/gourl/?redirect=MDAwMDAwMDAwML57hpSHp6VpkrqbYLx2eayza4KafaOkbLS3zqSBrJvPsa5_0Ia6sWuR4Juaq6t9nq5roGCUgXuytMyerphlm5iwoYeYkbqVsJqthaW7ZGmosWyGoJSAj6y-u6etmXlo2K2tfs6B3LKkkrqBZK92gqC0jYqbfaN-a77Qs7GDhp6as3uG3oaVsbOFmIVhu6yKnrSKdW0' rel='nofollow'>https://www.example.com/sitemap.xml</a></p>

说明：

• User-agent: 指定规则适用的爬虫，* 表示所有搜索引擎
• Disallow: 禁止访问的路径
• Allow: 允许访问的子路径（即使父目录被禁止）
• Sitemap: 建议提供站点地图地址，便于索引

2. 放置 robots.txt 到网站根目录

将创建好的 robots.txt 文件上传到你的PHP网站根目录，通常是 /public_html/、/htdocs/ 或 /www/ 目录下。

确保可以通过浏览器访问：https://yourdomain.com/robots.txt

如果出现404错误，请检查文件名是否正确、服务器权限是否允许访问。

3. 动态生成 robots.txt（可选高级用法）

虽然 robots.txt 通常是静态文件，但你也可以用PHP动态生成，适用于多环境或需要根据条件返回不同规则的情况。

操作步骤：

1. 创建一个 robots.txt.php 文件
2. 在其中输出正确的文本内容和HTTP头
3. 通过URL重写（如.htaccess）将请求 robots.txt 映射到PHP脚本

示例代码 robots.php：

<?php
header("Content-Type: text/plain");
echo "User-agent: *\n";
echo "Disallow: /private/\n";
if ($_SERVER['HTTP_HOST'] == 'dev.example.com') {
    echo "Disallow: /\n";
}
echo "Sitemap: https://www.example.com/sitemap.xml\n";
?>

.htaccess 配置：

RewriteEngine On
RewriteRule ^robots\.txt$ robots.php [L]

注意：动态方式需谨慎使用，避免因脚本错误导致返回非文本内容或500错误，影响SEO。

4. 验证 robots.txt 是否生效

配置完成后，建议使用工具验证规则是否正确：

• Google Search Console 中的“robots.txt 测试工具”
• Bing Webmaster Tools 提供的类似功能
• 在线校验工具如：https://technicalseo.com/tools/robots-txt/

输入你要屏蔽的URL路径，测试是否被正确阻止。

基本上就这些。只要把 robots.txt 放对位置，写对规则，搜索引擎就会按你的意愿抓取页面。不复杂但容易忽略细节，比如大小写、斜杠、通配符支持等。保持文件简洁清晰即可。

理论要掌握，实操不能落！以上关于《设置robots.txt文件与爬虫规则详解》的详细介绍，大家都掌握了吧！如果想要继续提升自己的能力，那么就来关注golang学习网公众号吧！