dz论坛如何禁止搜索引擎抓取任何内容?

这其实不只是针对于discuz这个程序建的网站,针对所有的网站都有效。网站的根目录有一个robots.txt文件。这个就相当于一个协议。它告诉搜索引擎,你可以抓取我网站里的哪些内容。所以,想要禁止搜索引擎抓取网站内容,就得在这个文件里进行操作。

先看一下discuz默认的robots.txt内容:

User-agent: *
Disallow: /api/
Disallow: /data/
Disallow: /source/
Disallow: /install/
Disallow: /template/
Disallow: /config/
Disallow: /uc_client/
Disallow: /uc_server/
Disallow: /static/
Disallow: /admin.php
Disallow: /search.php
Disallow: /member.php
Disallow: /api.php
Disallow: /misc.php
Disallow: /connect.php
Disallow: /forum.php?mod=redirect*
Disallow: /forum.php?mod=post*
Disallow: /home.php?mod=spacecp*
Disallow: /userapp.php?mod=app&*
Disallow: /*?mod=misc*
Disallow: /*?mod=attachment*
Disallow: /*mobile=yes*

Disallow的意思就是不允许抓取。好了,我们最终把上面的代码改成下面内容:

User-agent: *
Disallow: /

dz论坛如何禁止搜索引擎抓取任何内容?_图片
这样就是网站根目录下的所有内容都不允许抓取。

声明:本文为原创,作者为 代码小白,转载时请保留本声明及附带文章链接:https://www.zixuekong.com/443.html