单机到分布式改造全流程：Scrapy→Scrapy-Redis→Ray，性能层层升级

关键词：Scrapy分布式改造、Scrapy-Redis实战、Ray+Scrapy、爬虫性能优化、单机转分布式
创作声明：本文以「豆瓣电影Top250爬取」为实战案例，完整拆解从原生Scrapy单机 → Scrapy-Redis基础分布式 → Ray高性能分布式的全改造流程，每个阶段配套「核心原理+代码改造+配置实操+性能测试」，量化各阶段性能提升，同时指出各阶段瓶颈与优化点，帮你实现爬虫性能从“百级QPS”到“千级QPS”的层层突破。

改造前核心准备

1. 环境与依赖

# 基础依赖
pip install scrapy scrapy-redis ray redis requests
# 可选（性能监控）
pip install psutil matplotlib

2. 基准场景定义

• 爬取目标：豆瓣电影Top250（https://movie.douban.com/top250），含电影名称、评分、简介；
• 性能