武汉子格教育科技有限公司

一、果出使用 `robots.txt` 文件

基础配置

在网站根目录创建 `robots.txt` 文件，现限添加以下内容禁止所有搜索引擎抓取：

```plaintext

User-agent: *

Disallow: /

```

*注意：此方法仅对遵守规则的制搜抓搜索引擎有效，如百度、索引搜索谷歌等。擎抓取办

针对特定搜索引擎

可通过指定 `User-agent` 来屏蔽特定爬虫，防止例如禁止百度：

```plaintext

User-agent: Baiduspider

Disallow: /

```

或禁止谷歌：

```plaintext

User-agent: Googlebot

Disallow: /

```

二、引擎使用 HTML Meta 标签

在网页 ` ` 部分添加以下标签，果出可阻止搜索引擎索引该页面：

```html

```

`noindex`：禁止搜索引擎索引页面

`nofollow`：禁止搜索引擎跟踪页面链接

此方法可临时阻止搜索引擎抓取，但已索引的制搜抓页面仍可能通过其他方式显示。

三、索引搜索使用 HTTP 头部（X-Robots-Tag）

在服务器配置中添加以下头部信息：

```apache

Header set X-Robots-Tag "noindex,擎抓取办nofollow"

```

或针对特定爬虫：

```apache

Header set X-Robots-Tag "noindex,nofollow" User-agent: Baiduspider

```

需在 Apache 或 Nginx 服务器中配置生效。

四、防止服务器配置屏蔽

通过服务器配置文件屏蔽特定爬虫，引擎例如在 Apache 中使用 `.htaccess`：

```apache

RewriteEngine On

RewriteCond %{ HTTP_USER_AGENT} ^YisouSpider$ [NC]

Order deny,果出allow

Deny from all

```

此方法可屏蔽不遵守规则的搜索引擎（如夸克），但同样存在局限性。

五、其他注意事项

文件格式规范

`robots.txt` 需为纯文本文件，每条规则占一行，空行分隔。

元标签需放置在 ` ` 部分，格式为 ``。

局限性说明

以上方法均无法完全阻止内容被索引，尤其是已收录的页面可能通过“断链重建”技术重新索引。 若需彻底禁止特定搜索引擎抓取，需通过搜索引擎官方渠道申请移除索引（如百度 webmaster@baidu.com）。

建议场景

需屏蔽敏感内容时优先使用 `robots.txt` 和服务器配置。

需临时测试时可用 meta 标签。

需屏蔽特定爬虫时组合使用 `robots.txt` 和服务器规则。

通过以上方法，可根据需求选择合适的方案来控制搜索引擎对网站内容的抓取与索引。