一、限制使用 `robots.txt` 文件
基础配置
在网站根目录创建 `robots.txt` 文件，搜索索引添加以下内容禁止所有搜索引擎抓取：
```plaintext
User-agent: *
Disallow: /
```
*注意：此方法仅对遵守规则的引擎搜索引擎有效，如百度、抓取止搜谷歌等。办防
针对特定搜索引擎
可通过指定 `User-agent` 来屏蔽特定爬虫，擎抓取页例如禁止百度：
```plaintext
User-agent: Baiduspider
Disallow: /
```
或禁止谷歌：
```plaintext
User-agent: Googlebot
Disallow: /
```
二、限制使用 HTML Meta 标签
在网页 `
` 部分添加以下标签，搜索索引可阻止搜索引擎索引该页面：```html
```
`noindex`：禁止搜索引擎索引页面
`nofollow`：禁止搜索引擎跟踪页面链接
此方法可临时阻止搜索引擎抓取，但已索引的抓取止搜页面仍可能通过其他方式显示。
三、办防使用 HTTP 头部（X-Robots-Tag）
在服务器配置中添加以下头部信息：
```apache
Header set X-Robots-Tag "noindex,擎抓取页nofollow"
```
或针对特定爬虫：
```apache
Header set X-Robots-Tag "noindex,nofollow" User-agent: Baiduspider
```
需在 Apache 或 Nginx 服务器中配置生效。
四、限制服务器配置屏蔽
通过服务器配置文件屏蔽特定爬虫，搜索索引例如在 Apache 中使用 `.htaccess`：
```apache
RewriteEngine On RewriteCond %{ HTTP_USER_AGENT} ^YisouSpider$ [NC] Order deny,引擎allow Deny from all
```
此方法可屏蔽不遵守规则的搜索引擎（如夸克），但同样存在局限性。
五、其他注意事项
文件格式规范
`robots.txt` 需为纯文本文件，每条规则占一行，空行分隔。
元标签需放置在 `
` 部分，格式为 ``。局限性说明
以上方法均无法完全阻止内容被索引，尤其是已收录的页面可能通过“断链重建”技术重新索引。 若需彻底禁止特定搜索引擎抓取，需通过搜索引擎官方渠道申请移除索引（如百度 webmaster@baidu.com）。
建议场景
需屏蔽敏感内容时优先使用 `robots.txt` 和服务器配置。
需临时测试时可用 meta 标签。
需屏蔽特定爬虫时组合使用 `robots.txt` 和服务器规则。
通过以上方法，可根据需求选择合适的方案来控制搜索引擎对网站内容的抓取与索引。
返回
