一、样解使用 `robots.txt` 文件

基础配置

在网站根目录创建 `robots.txt` 文件，除限添加以下内容禁止所有搜索引擎抓取：

```plaintext

User-agent: *

Disallow: /

```

*注意：此方法仅阻止搜索引擎抓取，制引不会删除已索引的擎搜擎被页面。

*

针对特定搜索引擎

若需禁止特定搜索引擎（如百度），索搜索引可添加：

```plaintext

User-agent: Baiduspider

Disallow: /

```

*需在搜索引擎的禁止官方文档中查找对应的 `User-agent`。

*

允许特定搜索引擎

允许特定搜索引擎抓取（如允许百度但禁止其他）：

```plaintext

User-agent: Baiduspider

Disallow: /

User-agent: *

Allow: /

```

*需手动配置搜索引擎允许抓取的样解规则。

*

二、除限使用 HTML Meta 标签

在需要保护的制引页面的 ` ` 部分添加：

```html

```

noindex：

禁止搜索引擎索引该页面

nofollow：禁止搜索引擎跟踪该页面的链接

优势：可动态添加到页面，但需注意部分搜索引擎可能忽略该标签。擎搜擎被

三、索搜索引使用 HTTP X-Robots-Tag 头部

在服务器配置中添加响应头：

```http

X-Robots-Tag: noindex,禁止nofollow

```

适用于需要精细控制页面索引的场景，但需服务器配置支持（如 Apache、样解Nginx）。除限

四、制引其他注意事项

生效时间

`robots.txt` 和 meta 标签需页面重新加载后生效，已索引的页面仍可能被再次抓取；

X-Robots-Tag 需服务器配置后即时生效。

局限性

上述方法无法完全阻止搜索引擎索引，尤其已索引的页面可能通过“爬虫刷新”机制重新抓取；

部分搜索引擎（如百度）可能不完全遵循 `robots.txt` 规则。

补充措施

对于敏感内容，建议结合服务器配置（如 `.htaccess`）或直接禁止特定 IP 访问。

五、示例综合配置

根目录 `robots.txt`：

```plaintext

User-agent: *

Disallow: /admin, /css/

```

特定页面 `index.html`：

```html

```

服务器配置（Nginx 示例）

```nginx

location /sensitive-content {

add_header X-Robots-Tag "noindex,nofollow";

}

```

通过以上方法，可灵活控制搜索引擎对网站内容的抓取与索引。