武汉子格教育科技有限公司

一、限制使用 `robots.txt` 文件

基础配置

在网站根目录创建 `robots.txt` 文件，搜索索引添加以下内容可禁止所有搜索引擎抓取：

```plaintext

User-agent: *

Disallow: /

```

所有搜索引擎都会遵守该规则。引擎

针对特定搜索引擎

若只想禁止特定搜索引擎（如百度），抓取止搜站可添加：

```plaintext

User-agent: Baiduspider

Disallow: /

```

需在百度官网提交网站地图时指定该规则。办禁

允许特定搜索引擎

若需允许特定搜索引擎抓取，擎抓取网可指定其 `User-agent`：

```plaintext

User-agent: 百度

Disallow:

```

其他搜索引擎仍会抓取允许的限制页面。

二、搜索索引使用 HTML Meta 标签

在网页 ` ` 部分添加以下标签：

```html

```

此标签可阻止搜索引擎索引页面，但不会阻止页面被直接访问。抓取止搜站

三、办禁使用 HTTP 头部信息

通过服务器配置添加 `X-Robots-Tag` 头部：

```apache

Header always set X-Robots-Tag "noindex,擎抓取网nofollow"

```

或针对特定爬虫：

```apache

Header set X-Robots-Tag "noindex,nofollow" User-agent: Baiduspider

```

需在 Apache 或 Nginx 服务器上配置生效。

四、限制注意事项

生效范围限制

`robots.txt` 只能控制爬虫行为，搜索索引无法阻止已索引内容的引擎显示；

代码或头部信息需部署到服务器才能生效。

特殊场景处理

需定期更新 `robots.txt` 以反映页面结构变化；

若内容涉及隐私或安全问题，建议结合服务器端过滤机制使用。

百度特殊处理

若通过上述方法仍无法阻止百度收录，需通过百度官方渠道提交申诉。

建议优先使用 `robots.txt` 进行基础屏蔽，重要敏感内容需结合代码或服务器配置加强保护。