先上菜,关闭Scrapy 自带的ROBOTSTXT_OBEY功能，在setting找到这个变量，设置为False即可完美解决.
# Obey robots.txt rules
ROBOTSTXT_OBEY = False
情景:
在爬取苏宁图书时,获取翻页数据调用无反应,于是打开日志文件发现此现象:
2019-06-08 16:44:43 [scrapy.core.engine] DEBUGScrapy 爬虫请求无反应之 Forbidden by robots.txt
本文介绍了在使用Scrapy爬虫时遇到请求无反应的问题，原因是Scrapy默认遵守robots.txt协议。通过设置settings中的ROBOTSTXT_OBEY为False，可以关闭这一功能，从而解决苏宁图书翻页数据请求无响应的状况。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
