一、爬虫使用 `robots.txt` 文件

创建或编辑 `robots.txt` 文件

在网站根目录下创建或编辑 `robots.txt` 文件，搜索索引添加以下内容以禁止所有爬虫访问：

```plaintext

User-agent: *

Disallow: /

```

这条规则会阻止所有爬虫访问网站的引擎所有路径。

针对特定爬虫的系禁规则

若需禁止特定爬虫（如百度蜘蛛、谷歌bot），止某可添加如下规则：

```plaintext

User-agent: Baiduspider

Disallow: /admin/

User-agent: Googlebot

Disallow: /sitemap.xml

```

注意：部分爬虫（如谷歌bot）可能忽略 `robots.txt` 规则，个搜需通过其他方式屏蔽。擎爬

二、爬虫设置 HTML Meta 标签

在网页的搜索索引 ` ` 部分添加 `noindex` 指令，可阻止搜索引擎索引该页面：

```html

```

此方法仅适用于单个页面，且需配合 `X-Robots-Tag` HTTP 响应头使用。系禁

三、止某通过搜索引擎官方工具申请闭站保护

主流搜索引擎（如百度、个搜谷歌、擎爬必应）提供站点管理平台，爬虫可通过闭站保护功能临时禁止爬虫访问：

百度搜索资源平台：

进入「站点管理」→「闭站保护」提交申请；

Google Search Console：

在「站点设置」→「爬虫」中配置；

Bing Webmaster Tools：

通过「站点管理」→「闭站保护」功能申请。

四、服务器端屏蔽爬虫 IP

通过分析访问日志识别爬虫 IP 地址，配置服务器防火墙拦截这些 IP。此方法需定期更新 IP 库，且可能影响正常用户访问。

注意事项

规则校验与维护

使用 [Google Search Console 的 robots 测试工具](https://search.google.com/search-console/robots) 定期验证规则有效性；

避免误写 `Disallow: /` 导致全站内容被屏蔽。

多层级防护建议

结合使用 `robots.txt`、meta 标签和服务器配置，提升防护效果；

对敏感内容采用目录级认证（如 Basic 认证）或动态加载技术（如 JavaScript 检测）。

动态内容处理

对于通过 JavaScript 动态加载的内容，需在服务器端配置允许特定用户代理访问。

通过以上方法，您可以灵活选择适合的屏蔽策略，平衡安全性与网站可用性。