武汉子格教育科技有限公司

一、搜索搜索使用 `robots.txt` 文件

基础语法

在网站根目录下创建或编辑 `robots.txt` 文件，引擎页面引擎添加以下内容可禁止所有搜索引擎抓取：

```plaintext

User-agent: *

Disallow: /

```

所有搜索引擎都会遵守该指令。不屏蔽

针对特定搜索引擎

若只想禁止特定搜索引擎（如百度），网站可添加：

```plaintext

User-agent: baiduspider

Disallow: /

```

需在搜索引擎官网（如百度网管中心）提交站点地图时指定该规则。禁止

二、搜索搜索使用 Meta 标签

在 HTML 的引擎页面引擎 ` ` 部分添加以下标签：

禁止索引且允许跟踪：

```html

```

禁止索引且禁止跟踪：

```html

```

允许索引但禁止跟踪：

```html

```

允许索引且允许跟踪：

```html

```

需注意，Meta 标签仅对遵循规则的不屏蔽搜索引擎有效。

三、网站使用 HTTP 头部（X-Robots-Tag）

在服务器响应中添加以下头部：

```http

X-Robots-Tag: noindex,禁止nofollow

```

需在 Apache 或 Nginx 等服务器配置中启用该指令。

四、搜索搜索其他补充方法

服务器配置

Apache：

在 `.htaccess` 文件中添加规则，引擎页面引擎或通过 `Disallow` 指令限制目录访问。不屏蔽

Nginx：在配置文件中设置 `location` 块，网站拒绝搜索引擎爬虫访问。禁止

动态内容过滤

对于通过动态链接生成的内容，可在服务器端添加条件判断，过滤掉需要保护的页面。

注意事项

规则优先级：

`robots.txt` > Meta 标签 > X-Robots-Tag，但需注意搜索引擎可能忽略被明确禁止的页面。

局限性：上述方法无法阻止已索引内容的重新抓取，且部分搜索引擎（如百度）可能不完全遵循这些规则。

安全风险：过度使用这些方法可能影响网站权威性，建议仅在必要时使用。

通过以上方法，可灵活控制搜索引擎对页面的抓取与索引行为。