一、解读使用 `robots.txt` 文件
基础配置 
在网站根目录创建 `robots.txt` 文件，代码的网添加以下内容禁止所有搜索引擎抓取：
```plaintext
User-agent: *
Disallow: /
```
*注意：此方法仅对遵守规则的站搜搜索引擎有效，如百度、索引谷歌等，擎屏对不遵守规则的蔽代爬虫（如夸克）无效。
针对特定搜索引擎
可以指定特定搜索引擎的解读爬虫名称禁止抓取，例如禁止百度：
```plaintext
User-agent: Baiduspider
Disallow: /
```
或禁止谷歌：
```plaintext
User-agent: Googlebot
Disallow: /
```
二、代码的网使用网页代码拦截
Meta 标签法
在 HTML 头部添加以下代码，站搜仅阻止搜索引擎索引页面，索引但允许追踪链接：
```html
```
*注意：此方法需配合服务器配置生效，且对所有搜索引擎通用。蔽代
X-Robots-Tag HTTP 头
在服务器配置文件（如 Apache 的解读 `.htaccess`）中添加：
```apache
Header set X-Robots-Tag "noindex, follow"
```
*需在服务器端配置生效，对所有搜索引擎通用。代码的网
三、站搜服务器配置屏蔽
Apache 服务器
使用 `.htaccess` 文件添加规则，例如禁止特定爬虫：
```apache
SetEnvIfNoCase User-Agent "YisouSpider" bad_bot
Deny from env=bad_bot
```
*此方法可屏蔽不遵守规则的爬虫（如 Yisou），但同样对规则性爬虫无效。
Nginx 服务器
在配置文件中添加：
```nginx
location / {
if (-f $document_root/robots.txt) {
set $robots $document_root/robots.txt;
}
if (-f $robots) {
include $robots;
}
}
```
*需配合 `allow` 指令使用，对规则性爬虫有效。
四、其他补充方法
防火墙规则： 在服务器防火墙中封禁常见搜索引擎爬虫的 IP 地址，但需定期更新爬虫 IP 列表。 动态检测与拦截
```php
function is_crawler() {
$userAgents = [
'baiduspider' => 'Baiduspider',
'googlebot' => 'Googlebot',
// 添加其他搜索引擎爬虫
];
return isset($userAgents[$HTTP_USER_AGENT]);
}
```
*需结合服务器配置实现。
注意事项
慎用全面禁止：
`User-agent: * Disallow: /` 会禁止所有搜索引擎访问，可能导致网站完全无法被索引。
动态内容处理：
动态生成的内容需通过服务器端逻辑控制索引，单纯依赖前端标签无效。
维护成本：
搜索引擎常更新爬虫名称，需定期维护 `robots.txt` 和代码中的爬虫列表。
建议优先使用 `robots.txt` 和 meta 标签，结合服务器配置实现基础防护，对于高安全性需求可补充动态检测机制。
