一、搜索索引使用 `robots.txt` 文件
在网站根目录下创建纯文本文件，引擎命名为 `robots.txt`（全小写）。屏蔽
添加规则指令
根据需要添加规则，关键例如：
禁止所有搜索引擎抓取：
```
User-agent: *
Disallow: /
```
允许特定搜索引擎抓取：
```
User-agent: baiduspider
Disallow: /
```
允许抓取但禁止索引：
```
Content-Type: text/html
Meta: robots="NOINDEX,字网站设置屏FOLLOW"
```
注意事项
该文件需部署在网站根目录，且文件名必须全小写。蔽搜
二、搜索索引使用 Meta 标签
添加 `meta` 标签
在 HTML 的引擎 `
` 部分添加以下标签：```html
```
`NOINDEX`：禁止搜索引擎索引该页面
`FOLLOW`：允许搜索引擎抓取该页面及链接指向的页面。
适用场景
适用于单个页面的屏蔽临时屏蔽，但需在每个页面重复添加，关键维护成本较高。字网站设置屏
三、蔽搜使用 HTTP 头部 `X-Robots-Tag`
配置服务器
在 Apache 或 Nginx 服务器中添加以下配置：
```apache
Header set X-Robots-Tag "NOINDEX,搜索索引FOLLOW"
```
或者使用 Nginx 的 `add_header` 指令。
注意事项
需服务器端配置，引擎对动态内容抓取效果有限。屏蔽
四、使用第三方工具
uBlacklist（浏览器插件）
安装后添加订阅地址（如 [Chinese-Results-Blocklist](https://raw.githubusercontent.com/cobaltdisco/Google-Chinese-Results-Blocklist/master/uBlacklist_subscription.txt))。
支持屏蔽单个搜索引擎或所有搜索引擎，过滤垃圾网站效果显著。
其他工具
Robots.txt Generator： 在线生成 `robots.txt` 文件。 五、注意事项 覆盖范围限制
`robots.txt` 只能控制搜索引擎爬虫，无法阻止直接访问。
浏览器插件需配合搜索引擎设置才能生效。
技术维护成本
需定期更新 `robots.txt` 和订阅列表。
服务器配置需专业运维支持。
SEO 影响
长期屏蔽搜索引擎可能导致页面权重下降，需谨慎使用。
通过以上方法，可灵活选择适合场景的屏蔽策略，平衡安全需求与网站可见性。
