robots txt协议怎么写才规范？新手照着这份教程写准没错！

发布日期： 2025-07-09 阅读量： 作者： admin

说起这个 *，我一开始也没当回事儿。以前自己瞎鼓捣网站的时候，根本不知道还有这么个东西。后来有一次，我发现我的那个小破站，服务器日志里天天一堆奇奇怪怪的访问记录，看着像是搜索引擎的爬虫，但又有些不像，而且老是爬一些后台登录页面、临时文件什么的，搞得服务器有点卡。

没办法，就开始琢磨这事儿。到处问问，又上网搜搜，才知道有个叫 * 的协议，说是能跟搜索引擎的爬虫打个招呼，告诉它们哪些地方别去瞎看。

摸索着动手

搞明白大概是啥意思后，我就开始动手实践。过程不复杂，但对我当时来说还是挺新鲜的。

第一步：找到放文件的地儿

这个 * 文件，得放在网站的根目录下面。就是你输入域名就能访问到的那个最顶层的文件夹。比如你的网站是 *，那这个文件就得放在 */* 这个位置。直接用 FTP 或者服务器的文件管理器就能看到。

第二步：创建一个纯文本文件

这玩意儿就是个纯文本文件，后缀名是 .txt。直接在本地电脑上新建一个记事本文件，然后改名叫 `*` 就行。千万别用 Word 或者其他带格式的编辑器，不然可能会出问题。

第三步：学习写规则

这是最关键的一步，也是我当时花时间最多的地方。打开那个空的 `*` 文件，就得往里面写规则。基本的格式就两条：

User-agent: 这个是指定你要对哪个爬虫说话。比如写 User-agent: Baiduspider 就是专门给百度爬虫看的。要是想对所有爬虫都生效，就写个星号 User-agent: ，我一般就用这个，省事儿。
Disallow: 这个是告诉爬虫，哪个目录或者文件不让爬。比如我想不让爬虫访问我网站后台的管理目录 `admin`，就写 Disallow: /admin/。注意，路径前面要加斜杠 `/`，目录后面最好也带上斜杠。如果想禁止访问所有内容，就写 Disallow: /。

我还学到一个 Allow: 的规则，它跟 Disallow: 相反，是允许访问。有时候你想禁止访问整个目录，但又想让目录里的某个特定文件能被访问，就可以组合着用。不过我一开始没用那么复杂，先把自己不想被爬的地方禁止掉再说。

结合我那个小破站的情况，我当时的 `*` 大概是这么写的：

先是通用规则，对所有爬虫生效：

User-agent:

然后是不想让爬虫访问的地方：

我还加个东西：

后来知道还可以在这里指定网站地图（Sitemap）的位置，方便搜索引擎发现我网站上的所有重要页面。就在文件末尾加一句：

Sitemap: 你的网站地图URL

写完之后，就把这个 `*` 文件上传到网站的根目录。

上传之后，过一段时间，我再去翻服务器日志，确实发现那些之前老来爬后台、爬临时文件的奇怪访问少很多。虽然不是百分百杜绝，因为这个 * 协议，它更多是靠自觉，不是强制性的。有些不守规矩的爬虫可能根本不理你这个文件。

但至少，像百度、谷歌这些正规的大搜索引擎，它们还是很遵守这个规则的。这对保护网站的一些隐私内容、减少服务器不必要的负担，还是挺有用的。而且通过禁止爬取那些没啥意义的页面（比如搜索结果页），也能让搜索引擎更集中地抓取和收录你网站上有价值的内容，对 SEO 应该也有点好处。

我的实践感受就是：

基本上，这就是我当初折腾 `*` 的整个过程和一些体会。虽然技术上不难，但从完全不懂到自己动手配置这个过程还是挺有意思的。