一、搜索搜索收录使用 `robots.txt` 文件

基础配置

在网站根目录下创建或编辑 `robots.txt` 文件，引擎引擎添加以下内容：

```plaintext

User-agent: *

Disallow: /

```

这将禁止所有搜索引擎抓取网站所有内容。代码的代

针对特定搜索引擎

若需允许其他搜索引擎收录，禁止可添加特定爬虫的搜索搜索收录规则：

```plaintext

User-agent: Baiduspider

Disallow: /

User-agent: Googlebot

Disallow: /admin/

```

上述配置禁止百度抓取全部内容，但允许其他搜索引擎访问 `admin` 目录。引擎引擎

二、代码的代使用 HTML Meta 标签

在网页 ` ` 部分添加以下代码，禁止可阻止搜索引擎索引该页面：

```html

```

此方法仅对当前页面有效，且需每次刷新页面时重新加载。引擎引擎

三、代码的代服务器端配置

Nginx 配置

通过 Nginx 的禁止 `ngx_http_robotstxt_module` 模块，可精确控制爬虫行为。搜索搜索收录例如：

```nginx

location / {

add_header X-Robots-Tag "noindex,引擎引擎nofollow";

}

```

此配置对所有请求添加 `X-Robots-Tag` 头，阻止搜索引擎索引。代码的代

cPanel IP 黑名单

通过服务器管理工具（如 cPanel），可屏蔽搜索引擎 IP 地址。需先获取搜索引擎服务器的 IP 地址段（如 74.125.0.0/16），然后在防火墙中添加屏蔽规则。

四、其他注意事项

动态内容处理：

`robots.txt` 和 Meta 标签仅对初始抓取有效，已索引的页面仍可能被重新抓取。建议结合登录验证或动态重定向增强安全性。

特殊场景：若需临时禁止收录（如敏感内容修复），可通过搜索引擎管理后台提交删除快照的请求。

建议优先使用 `robots.txt` 和 Meta 标签作为基础防护，再结合服务器配置实现更精细的控制。