无广告搜索引擎_拒绝搜索引擎收录

一、无广使用 `robots.txt` 文件

基本语法结构

在网站根目录创建 `robots.txt` 文件，告搜添加以下内容：

```

User-agent: *

Disallow: /

```

这将禁止所有搜索引擎抓取网站所有内容。索引索引若需允许特定内容，擎拒擎收可添加 `Allow` 指令。绝搜

针对特定搜索引擎

若只想禁止百度收录，无广可修改为：

```

User-agent: Baiduspider

Disallow: /

```

类似地，告搜谷歌可通过 `User-agent: Googlebot` 进行配置。索引索引

注意事项

仅适用于公开可访问的擎拒擎收页面，隐私或敏感内容需通过其他方式保护。绝搜

更改后需等待搜索引擎重新抓取（可能需数月）。无广

二、告搜使用 Meta 标签

HTML Meta 标签

在页面 ` ` 部分添加：

```html

```

这会阻止搜索引擎索引该页面，但页面仍可能被用户直接访问。擎拒擎收

三、绝搜服务器配置方法

Nginx 配置

通过 Nginx 可以根据 `User-agent` 过滤请求，返回 403 错误：

```nginx

if ($http_user_agent ~* "Baiduspider|Googlebot") {

return 403;

}

```

此方法可配合 `.htaccess` 文件使用，需重启 Nginx 服务生效。

Apache 配置

在 `.htaccess` 文件添加：

```apache

RewriteEngine On

RewriteCond %{ HTTP_USER_AGENT} ^Baiduspider$ [NC]

RewriteRule .* - [F]

```

适用于禁止特定搜索引擎访问。

四、其他高级方法

动态 User-agent 检测

通过服务器端脚本动态检测 `User-agent`，返回 403 或 404：

```php

if (strpos($_SERVER['HTTP_USER_AGENT'], 'Baiduspider') !== false) {

header('HTTP/1.1 403 Forbidden');

exit;

}

```

需注意此方法可能被搜索引擎规避。

IP 地址过滤

配置服务器禁止特定 IP 地址访问（如搜索引擎爬虫IP）：

Nginx：

在配置文件中添加 `deny` 指令

Apache：使用 `Deny from` 指令

此方法需配合防火墙规则使用。

注意事项

规则优先级

服务器配置（如 Nginx、Apache）优先级高于 `robots.txt` 和 Meta 标签；

同一服务器上需避免重复配置导致冲突。

效果时效性

禁止收录的页面仍可能被已缓存的搜索引擎索引显示，需等待更新；

动态过滤方法（如 IP 或 User-agent 检测）需定期维护。

合规建议

仅当内容涉及隐私、版权等敏感信息时，才需屏蔽搜索引擎；

若需临时测试，可使用搜索引擎提供的测试工具（如 [robots.txt 测试工具](https://www.robots.txt.org/))验证配置效果。