网站优化必须懂robotstxt吗？用好它能提升抓取效率！

发布日期： 2025-07-15 阅读量： 作者： admin

大家今天想跟大家唠唠我最近捣鼓网站时弄的一个小东西——就是那个叫 `*` 的玩意儿。

为啥要弄这个？

起初，我就是觉得网站上线，得让搜索引擎，像百度、谷歌这些，知道我的网站，能搜到。但后来发现，这些搜索引擎派来的“蜘蛛”（它们自己叫爬虫）到处爬，有些地方我不太想让它们看，比如一些后台管理的页面，或者一些临时的测试文件啥的。要是这些都被搜到，感觉不太也不安全。

这时候我就想起来，好像有个叫 `*` 的东西能管管这些“蜘蛛”。它就像个门卫，放在网站的根目录底下，告诉来的“蜘蛛”哪些门能进，哪些门不让进。

第一步：检查和创建

我先去我的网站根目录（就是放首页文件的那个地方）瞅瞅，看看是不是已经有一个叫 `*` 的文件。有些建站程序可能会自动生成一个。我的当时没有，所以我就自己动手。

咋弄？特简单。就在自己电脑上，新建一个文本文档，然后把名字改成 `*` 就行。注意，后缀一定是 `.txt`，别搞错。

第二步：写规则

光有文件不行，还得在里面写点东西，告诉“蜘蛛”规矩。我查点资料，学几个最基本的指令：

User-agent: 这个是指定规则给哪个“蜘蛛”看的。要是写个星号，就表示对所有的“蜘蛛”都有效。一般我就用这个星号，省事儿。
Disallow: 这个就是“禁止访问”的意思。后面跟上你不希望“蜘蛛”爬的路径。比如，我不想让它们看我的后台管理文件夹，假设叫 `admin`，我就写一行 Disallow: /admin/。那个斜杠很重要，表示是根目录下的文件夹。我还加几个，比如一些临时文件夹 `Disallow: /temp/`。
Allow: 这个是“允许访问”。有时候，你可能禁止一个大文件夹，但又想让里面的某个子文件夹或者文件能被访问，就可以用这个。不过我开始没用那么复杂，就先用前面俩。

我那个 `*` 文件里，大概就写下面几行，很简单：

User-agent:
Disallow: /admin/
Disallow: /temp/
Disallow: /includes/

这样，所有“蜘蛛”过来，看到这个文件，就知道 `admin`、`temp`、`includes` 这几个目录不让进。

第三步：上传文件

写好之后，我就把这个 `*` 文件上传到我网站的根目录下。就是跟你网站首页文件（比如 * 或 *）放在同一个地方。我是用 FTP 工具传上去的，如果你用的是虚拟主机的控制面板，一般里面也有文件管理器，直接上传就行。

第四步：检查一下

传上去之后，我得确认下是不是成功。最简单的办法，就是在浏览器里输入自己网站域名后面加上 `/*`，看看能不能访问到刚才写的内容。比如我的网站是 `*`，我就访问 `*/*`。看到我自己写的那几行字，就说明放对。

后来我还用搜索引擎提供的一些站长工具，里面有检查 `*` 的功能，可以模拟“蜘蛛”看看规则是不是生效，挺方便的。

整个过程下来，感觉 `*` 这东西不难搞。就几行简单的文本，就能对搜索引擎的“蜘蛛”有个基本的引导。虽然不能百分百阻止所有不守规矩的抓取，但对正规的搜索引擎来说，这是个很有效的沟通方式。

设置好之后，心里也踏实点，知道自己网站哪些部分是对外开放的，哪些是保留的。算是一次挺有用的实践，分享给大家，希望能有点帮助。