一、新何使用 `robots.txt` 文件

基础语法结构

在网站根目录下创建 `robots.txt` 文件，正确通过规则指定允许或禁止搜索引擎爬虫访问特定路径。避免被百蔽例如：

```

User-agent: baiduspider

Disallow: /private/

```

上述规则禁止百度蜘蛛访问 `/private/` 目录下的度搜所有内容。

注意事项

仅能阻止已爬取的索引页面被索引，无法阻止初始抓取；

需确保 `robots.txt` 文件格式正确，擎屏否则可能被忽略。新何

二、正确使用 `noindex` HTML标签

适用场景

对于单个页面或少量页面，避免被百蔽可在 HTML 头部添加 `noindex` 标签，度搜例如：

```html

```

这将指示搜索引擎不要为该页面创建索引。索引

批量处理

若需批量处理多个页面，擎屏建议通过后台开发插入动态代码，新何或使用插件实现自动化。正确

三、避免被百蔽结合使用 `robots.txt` 和 `noindex`

优先级原则

将 `noindex` 标签添加到需屏蔽的页面；

在根目录的 `robots.txt` 中补充更全面的路径规则。

示例

假设有一个登录页面 `/login`，可同时在 HTML 中添加标签：

```html

```

并在 `robots.txt` 中添加：

```

User-agent: baiduspider

Disallow: /login/

```

四、其他辅助方法

动态重定向

对于动态生成的敏感页面，可通过服务器端脚本（如 `.htaccess` 或 Nginx 配置）进行重定向，避免直接暴露。

提升网站质量

定期发布原创内容，提高网站权威性；

优化外链质量，避免被识别为垃圾站点。

避免敏感操作

限制自动化脚本和频繁重定向，防止被搜索引擎判定为滥用行为。

五、注意事项

百度算法更新

百度可能调整其收录规则，需定期检查官方文档或通过百度搜索结果分析工具（如“网站地图”）监控收录状态；

已收录内容的处理

即使使用上述方法，已收录的敏感内容仍可能被逐步删除，建议优先屏蔽核心敏感页面。

通过以上方法，可有效控制百度搜索引擎对网站内容的收录，同时保障网站安全与性能。