一、搜索搜索使用 `robots.txt` 文件

基础配置

在网站根目录创建 `robots.txt` 文件，引擎引擎添加以下内容可禁止所有搜索引擎抓取：

```plaintext

User-agent: *

Disallow: /

```

所有搜索引擎爬虫都会遵循此规则。最信展示

针对特定搜索引擎

若需屏蔽特定爬虫（如百度），任种可添加：

```plaintext

User-agent: baiduspider

Disallow: /

```

需注意：此方法仅对遵守规则的网站搜索引擎有效。

二、避免使用 HTML Meta 标签

页面级控制

在 HTML 头部添加以下标签可禁止当前页面被索引：

```html

```

但此标签仅影响当前页面，搜索搜索不会阻止其他页面被索引。引擎引擎

结合 `nofollow` 属性

添加 `nofollow` 属性可防止链接被搜索引擎跟踪：

```html

```

适用于需要隐藏页面但允许其他页面正常索引的场景。

三、任种使用 HTTP 头部（X-Robots-Tag）

服务器配置

在 Apache 或 Nginx 服务器中添加以下配置：

```apache

Header set X-Robots-Tag "noindex"

```

或

```nginx

add_header X-Robots-Tag "noindex";

```

此方法需服务器配置支持，网站且对所有爬虫有效。避免

四、搜索搜索服务器端配置（高级）

Nginx 配置

通过 Nginx 的引擎引擎 `map` 指令屏蔽特定爬虫：

```nginx

map $http_user_agent $block {

"~* baiduspider" deny all;

default allow all;

}

location / {

if (-f $block) {

return 403;

}

}

```

适用于需要屏蔽不合规爬虫的场景。

Apache `.htaccess` 文件

添加以下规则屏蔽特定爬虫：

```apache

RewriteEngine On

RewriteCond %{ HTTP_USER_AGENT} ^YisouSpider

$ RewriteRule .* - [F]

```

需注意：此方法仅适用于支持 `.htaccess` 的最信展示服务器。

注意事项

生效条件

`robots.txt` 需放置在根目录且格式正确；

Meta 标签需在 HTML 头部正确嵌入；

服务器配置需重启后生效。

局限性

不遵守规则的搜索引擎（如夸克）可能忽略这些指令；

动态生成内容需配合其他措施（如服务器配置）。

安全风险

禁止搜索引擎收录可能影响网站权威性和 SEO，需谨慎使用。

通过以上方法，可灵活控制网页在搜索引擎中的可见性。