
地 址:联系地址联系地址联系地址
电 话:020-123456789
网址:bfbird.com
邮 箱:admin@aa.com
一、无广使用 `robots.txt` 文件

在网站根目录创建 `robots.txt` 文件,告搜添加以下内容:

```
User-agent: *
Disallow: /
```

这将禁止所有搜索引擎抓取网站所有内容。索引索引若需允许特定内容,擎拒擎收可添加 `Allow` 指令。绝搜
若只想禁止百度收录,无广可修改为:
```
User-agent: Baiduspider
Disallow: /
```
类似地,告搜谷歌可通过 `User-agent: Googlebot` 进行配置。索引索引
注意事项
仅适用于公开可访问的擎拒擎收页面,隐私或敏感内容需通过其他方式保护。绝搜
更改后需等待搜索引擎重新抓取(可能需数月)。无广
二、告搜使用 Meta 标签
HTML Meta 标签
在页面 `
` 部分添加:```html
```
这会阻止搜索引擎索引该页面,但页面仍可能被用户直接访问。擎拒擎收
三、绝搜服务器配置方法
Nginx 配置
通过 Nginx 可以根据 `User-agent` 过滤请求,返回 403 错误:
```nginx
if ($http_user_agent ~* "Baiduspider|Googlebot") {
return 403;
}
```
此方法可配合 `.htaccess` 文件使用,需重启 Nginx 服务生效。
Apache 配置
在 `.htaccess` 文件添加:
```apache
RewriteEngine On RewriteCond %{ HTTP_USER_AGENT} ^Baiduspider$ [NC] RewriteRule .* - [F]
```
适用于禁止特定搜索引擎访问。
四、其他高级方法
动态 User-agent 检测
通过服务器端脚本动态检测 `User-agent`,返回 403 或 404:
```php
if (strpos($_SERVER['HTTP_USER_AGENT'], 'Baiduspider') !== false) {
header('HTTP/1.1 403 Forbidden');
exit;
}
```
需注意此方法可能被搜索引擎规避。
IP 地址过滤
配置服务器禁止特定 IP 地址访问(如搜索引擎爬虫IP):
Nginx: 在配置文件中添加 `deny` 指令 Apache
此方法需配合防火墙规则使用。
注意事项
规则优先级
服务器配置(如 Nginx、Apache)优先级高于 `robots.txt` 和 Meta 标签;
同一服务器上需避免重复配置导致冲突。
禁止收录的页面仍可能被已缓存的搜索引擎索引显示,需等待更新;
动态过滤方法(如 IP 或 User-agent 检测)需定期维护。
仅当内容涉及隐私、版权等敏感信息时,才需屏蔽搜索引擎;
若需临时测试,可使用搜索引擎提供的测试工具(如 [robots.txt 测试工具](https://www.robots.txt.org/))验证配置效果。