robots文件设置错误怎么办？几个常见写法错误和解决方法。

发布日期： 2025-07-16 阅读量： 作者： admin

得，今天正好有空，就跟大家唠唠我前段时间折腾那个文件的经历。这玩意儿，说大不大，说小不小，但你要是没弄对，还真能给你整出点麻烦事来。

为啥要搞这个？

起因是这样的，我自个儿搭个小网站，平时写点东西放上去。一开始也没太在意收录啥的，佛系更新。后来有段时间，我发现有些页面明明写得挺也发布，可就是死活在搜索引擎里找不到。反倒是一些后台管理页面或者测试页面，偶尔还能搜到个影子，这就有点尴尬。

我就琢磨，这是咋回事？是不是哪里没设置对？到处翻翻资料，看到很多人提到这个东西，说是能告诉搜索引擎的爬虫，哪些页面可以抓，哪些别去碰。

第一步，我得先看看我网站根目录下到底有没有这个文件。登录到我的服务器，用命令行 `ls -a` 一看，果然没有！看来问题可能就出在这儿，或者说，至少我没给爬虫一个明确的指示。

没有就自己创建一个呗。这玩意儿就是个纯文本文件，名字必须是小写的。我在本地用记事本（是别的编辑器，但说记事本大家容易懂）新建一个文件，保存成。

关键是里面写 我一开始也是懵的，就去网上找例子。看到最常见的写法是这样的：

User-agent:

Disallow:

意思是允许所有爬虫（那个就代表所有）抓取所有内容（Disallow: 后面是空的，表示没有禁止的）。我想，我网站也没啥见不得人的，那就先这样，至少让它先能被抓到。于是就把这几行字写进我的文件里。

写好之后，就把这个文件上传到我网站的根目录。就是能直接通过 `你的域名/*` 访问到的那个地方。

上传完过一两天，我再去搜我的网站，发现情况好像是好一点，之前搜不到的一些页面慢慢能搜到。但新的问题又来，我发现一些我不想让别人看到的后台管理目录、程序脚本目录啥的，也有被收录的风险。

这时候我才意识到，光允许所有是不行的，还得明确告诉它哪些不要去碰。我又去研究一下Disallow:的用法。

比如，我的网站后台管理目录是 /admin/，还有一些临时的测试目录 /test/，还有一些包含敏感配置文件的目录 /includes/。那我就得把这些都加上去。

于是我的文件就改成类似这样：

User-agent: Disallow: /admin/ Disallow: /test/ Disallow: /includes/ Disallow: /wp-admin/ # 如果是WordPress，这个得加上

Disallow: /wp-includes/ # 这个也可能需要

这里得注意， 那个斜杠很重要。Disallow: /admin/ 就是禁止访问 `admin` 这个目录以及里面的所有东西。如果你写成 Disallow: /admin，那可能会把比如 `*` 这样的文件也给禁止，得看具体情况。

我还看到有人会加 Allow: 规则，比如你禁止一个大目录，但想允许其中的某个子目录或文件被抓取，就可以用 Allow:。不过我暂时用不上那么复杂的，就先没加。

还有个常见的坑，就是千万别写成 Disallow: /，除非你真的想让你整个网站都别被收录。这个斜杠代表根目录，也就是整个网站。我之前手抖差点写错，还好检查一下。

修改完并重新上传覆盖掉旧的之后，事情还没完。因为搜索引擎爬虫不是立刻就按你的新规矩来的，它得下次再来爬的时候才会看到更新。这个过程可能需要几天甚至更长时间。

我就隔三差五去搜一下，看看那些不该被收录的页面是不是慢慢消失，该被收录的页面是不是稳定。也可以利用一些搜索引擎提供的站长平台工具，里面通常有检测功能，可以模拟爬虫看看你的规则写得对不对，有没有语法错误，哪些页面会被阻止。

经过这么一番折腾，现在我的网站收录情况基本就符合我的预期。不想给看的页面，搜索引擎爬虫基本就不来，想展示的内容也能正常被找到。

这个文件虽然简单，就是个文本文件，但作用还是挺直接的。它相当于你给搜索引擎爬虫立的一个规矩牌。写对，能帮你优化网站的收录，保护不想公开的内容；写错，就可能像我一开始那样，要么啥都搜不到，要么把不该搜到的也暴露。

如果你也自己搞网站，建议还是花点时间检查一下你网站根目录下有没有这个文件，里面的规则是不是你想要的。别觉得麻烦，搞定能省不少事儿。