一、无广使用 `robots.txt` 文件
基本规则格式 
在网站根目录下创建 `robots.txt` 文件，告搜添加以下指令：
```
User-agent: *
Disallow: /敏感目录/
```
例如禁止所有搜索引擎抓取 `/admin/` 目录。索引索引
注意事项
仅适用于希望搜索引擎遵循规则的擎限擎抓常规页面，无法屏蔽恶意爬虫或绕过该文件的制搜爬虫（如搜索引擎自身）。
需确保文件编码为 UTF-8，无广且无语法错误，告搜否则可能导致爬虫忽略该文件。索引索引
二、擎限擎抓使用 HTML Meta 标签
``
将该标签添加到 HTML `
` 部分，可阻止搜索引擎索引当前页面，无广但允许其他链接正常传播。告搜 示例：```html
```
``
仅阻止索引，允许页面被抓取和链接传播。擎限擎抓
三、制搜使用 HTTP 头部指令
`X-Robots-Tag`
通过服务器配置添加 `X-Robots-Tag: noindex`，可控制特定页面的索引行为，需在 Apache 或 Nginx 中配置。
四、其他高级方法
服务器配置限制
IP 地址过滤： 在服务器端配置白名单或黑名单，拒绝特定 IP 地址的访问。 域名重定向
搜索引擎特定请求 可通过搜索引擎提供的管理邮箱（如百度 `webmaster@baidu.com`）提交特殊请求，要求删除特定页面的索引。
五、注意事项
兼容性：
`robots.txt` 和 Meta 标签被主流搜索引擎（如百度、谷歌）广泛支持，但效果可能因搜索引擎版本或特殊场景有所差异。
安全性：避免使用 `robots.txt` 来屏蔽敏感操作页面（如 `/admin/`），建议通过服务器配置或管理员渠道控制访问。
SEO 影响：合理使用上述方法可优化网站性能，但过度屏蔽可能导致重要内容无法被搜索引擎索引，需权衡利弊。
通过以上方法，可灵活控制搜索引擎对网站内容的抓取与索引，提升网站安全性和 SEO 效果。
