Scrapy: 发送带Cookie的请求

最新推荐文章于 2026-04-20 05:39:39 发布

转载最新推荐文章于 2026-04-20 05:39:39 发布 · 7.4k 阅读

标签

#scrapy #cookie

收录于

本文介绍如何在Scrapy爬虫中使用Request类设置Cookie属性。通过重载Spider的start_requests方法，在请求头中携带Cookie信息，实现对特定网站的个性化登录状态爬取。

Scrapy的Request类支持设置cookie属性，要在爬虫请求中带上cookie，可以重载Spider的start_requests方法。

[python]view plaincopy 
   
 import sys  
 from scrapy.spider import Spider  
 from scrapy.selector import Selector  
 from scrapy.http.request import Request  
   
 class InfoqSpider(Spider):  
     name = "techbrood"  
     allowed_domains = ["techbrood.com"]  
     start_urls = [  
         "http://techbrood.com",  
     ]  
           
     def start_requests(self):  
         for url in self.start_urls:          
             yield Request(url, cookies={'techbrood.com': 'true'})  