Python爬虫合规指南：避开法律红线，规范爬取数据（含robots.txt实操规范）

核心结论：爬虫合规的核心是“三重边界”——不碰法律禁止的数据、遵守网站规则（含robots.txt）、不干扰平台运营，违规可能面临民事赔偿、行政罚款甚至刑事责任。

一、先明确：爬虫合规的法律底线（绝对不能碰）

爬虫并非“法外之地”，我国《网络安全法》《数据安全法》《个人信息保护法》及相关司法解释，已构建起完整的监管体系，以下行为绝对禁止：

1. 禁止爬取的3类核心数据

• 敏感个人信息：身份证号、手机号、家庭住址、健康生理信息、金融账户信息等，未经授权爬取50条以上核心信息或500条以上敏感信息，即构成刑事犯罪。
• 商业秘密：竞争对手的价格体系、库存数据、客户名单等未公开的商业数据，未经许可爬取可能构成不正当竞争。
• 受保护的版权内容：付费文章、影视资源、软件代码等，未经授权爬取传播可能侵犯著作权。

2. 禁止的3类操作行为

• 绕过反爬措施：破解验证码、JS加密、设备指纹验证等安全防护，即使爬取公开数据，也可能构成“侵入计算机信息系统罪”。
• 干扰平台运营：短时间内发起大量请求（如每秒10次以上），导致网站响应变慢、崩溃，违反《网络安全法》第二十七条。
• 违规使用数据：将爬取的数据用于 spam 营销、诈骗、不正当竞争（如低价倾销）等非法用途。

3. 典型违法案例警示

• 上海王某开发爬虫程序，破解得物APP防护措施抓取商品数据并售卖，获利60余万元，被判“提