一、搜索搜索使用 `robots.txt` 文件
基础配置
在网站根目录创建 `robots.txt` 文件，引擎页面引擎添加以下内容可禁止所有搜索引擎抓取：
```plaintext
User-agent: *
Disallow: /
```
所有搜索引擎都会遵守该规则。蜘蛛抓取抓
针对特定搜索引擎
若只想禁止特定搜索引擎（如百度），禁止可添加：
```plaintext
User-agent: Baiduspider
Disallow: /
```
需在百度官网提交网站地图时指定该规则。搜索搜索
允许特定搜索引擎
若需允许特定搜索引擎抓取，引擎页面引擎可指定其 `User-agent`：
```plaintext
User-agent: 百度
Disallow:
```
其他搜索引擎仍会抓取允许的蜘蛛抓取抓页面。
二、禁止使用 HTML Meta 标签
在网页 `
` 部分添加以下标签：```html
```
此标签可阻止搜索引擎索引页面，但不会阻止页面被直接访问。引擎页面引擎
三、蜘蛛抓取抓使用 HTTP 头部信息
通过服务器配置添加 `X-Robots-Tag` 头部：
```apache
Header always set X-Robots-Tag "noindex,禁止nofollow"
```
或针对特定爬虫：
```apache
Header set X-Robots-Tag "noindex,nofollow" User-agent: Baiduspider
```
需在 Apache 或 Nginx 服务器上配置生效。
四、搜索搜索注意事项
生效范围限制
`robots.txt` 只能控制爬虫行为，引擎页面引擎无法阻止已索引内容的蜘蛛抓取抓显示；
代码或头部信息需部署到服务器才能生效。
特殊场景处理
需定期更新 `robots.txt` 以反映页面结构变化；
若内容涉及隐私或安全问题，建议结合服务器端过滤机制使用。
百度特殊处理
若通过上述方法仍无法阻止百度收录，需通过百度官方渠道提交申诉。
建议优先使用 `robots.txt` 进行基础屏蔽，重要敏感内容需结合代码或服务器配置加强保护。
