一、搜索索引使用 `robots.txt` 文件

基础配置

在网站根目录创建 `robots.txt` 文件，引擎添加以下内容禁止所有搜索引擎抓取：

```plaintext

User-agent: *

Disallow: /

```

*注意：此方法仅阻止搜索引擎抓取，处和无法完全禁止收录，坏处何且需配合其他措施才能生效。让搜

针对特定搜索引擎

若只想禁止特定搜索引擎（如百度）收录，擎收可添加：

```plaintext

User-agent: Baiduspider

Disallow: /

```

同理，搜索索引针对谷歌可设置为：

```plaintext

User-agent: Googlebot

Disallow: /

```

二、引擎HTML Meta 标签与 HTTP 头部

Meta 标签

在 HTML 头部添加 `noindex` 和 `nofollow` 标签：

```html

```

适用于单个页面，但需手动添加每个页面，坏处何效率较低。让搜

X-Robots-Tag 头部

在服务器响应中添加 HTTP 头部：

```http

X-Robots-Tag: noindex,擎收nofollow

```

同样需手动添加至每个页面，且效果有限。搜索索引

三、引擎服务器端配置

Nginx 配置

通过 Nginx 判断 `User-Agent` 并返回 403 或 404：

```nginx

if ($http_user_agent ~* "Baiduspider|Googlebot|Yahoo!") {

return 403;

}

```

此方法可彻底禁止指定搜索引擎收录，处和但会影响所有用户访问。

其他服务器模块

使用 `ngx_http_robotstxt_module` 模块直接在 Nginx 中配置禁止规则。

四、其他注意事项

动态内容处理：

通过代码判断请求来源，跳转至 404 或其他页面。

敏感内容保护：避免在公开页面中存储用户数据或敏感信息，防止被爬取泄露。

定期维护：修改目录权限或代码后，需等待搜索引擎重新索引（可能需数月）。

总结

单一方法难以实现完全禁止收录，建议结合使用 `robots.txt`、Meta 标签、代码限制及服务器配置。对于敏感内容，优先考虑权限控制和内容加密。