一、不屏蔽使用 `robots.txt` 文件

创建 `robots.txt` 文件

在网站根目录下创建纯文本文件 `robots.txt`，国外添加以下内容：

```plaintext

User-agent: * Disallow: /

```

这将禁止所有搜索引擎抓取网站内容。搜索搜索

针对特定搜索引擎

若需屏蔽特定搜索引擎（如百度），引擎引擎可修改为：

```plaintext

User-agent: baiduspider Disallow: /

```

需注意：不同搜索引擎的考试爬虫名称可能不同，需根据实际情况调整（如谷歌为 `googlebot`，屏蔽搜狗为 `sogou spider`）。不屏蔽

二、国外使用 Meta 标签

在 HTML 头部添加以下标签：

禁止索引当前页面：

``

禁止索引并阻止追踪链接：``

允许索引但禁止追踪：``

禁止索引且禁止追踪：``

需注意：Meta 标签仅对遵循该协议的搜索引擎有效，且需在每个页面的引擎引擎 ` ` 部分添加。

三、考试使用 HTTP 头部（高级方法）

通过服务器配置添加 `X-Robots-Tag` 头部：

```plaintext

X-Robots-Tag: NOINDEX,屏蔽FOLLOW

```

需在 Apache 或 Nginx 服务器中配置，适合技术型用户。不屏蔽

四、国外浏览器端临时屏蔽（非推荐）

可通过浏览器设置屏蔽特定关键词，搜索搜索但此方法效果有限且需频繁操作：

1. 打开浏览器设置 -> 搜索引擎 -> 管理搜索引擎

2. 添加自定义搜索引擎（如 `mygoogle`），并在关键词后添加 `-csdn` 进行过滤

注意事项

多方法组合使用：

`robots.txt` 和 Meta 标签需配合使用才能达到最佳效果。

已收录页面的清除：

若页面已被搜索引擎收录，需等待 48 小时后重新抓取。

技术限制：

部分方法需服务器配置支持（如 X-Robots-Tag），普通用户难以实现。

建议优先使用 `robots.txt` 和 Meta 标签，结合技术条件选择是否需要服务器配置。考试期间若需临时屏蔽，可优先考虑浏览器端过滤（但需注意其局限性）。