爬虫入门基础-Scrapy框架的Spalsh渲染要点

最新推荐文章于 2026-03-27 09:42:44 发布

原创

最新推荐文章于 2026-03-27 09:42:44 发布 · 559 阅读

本文介绍了网络爬虫的基础概念，包括获取网页、提取信息和保存数据的流程。重点讲解了Scrapy框架中如何使用Splash进行网页渲染，提高爬虫效率，并提供了配置文件和代理使用的相关知识。

我们可以把互联网比作一张大网，而爬虫（即网络爬虫）便是在网上爬行的蜘蛛。把网的节点比作一个个网页，爬虫爬到这就相当于访问了该页面，获取了其信息。可以把节点间的连线比作网页与网页之间的链接关系，这样蜘蛛通过一个节点后，可以顺着节点连线继续爬行到达下一个节点，即通过一个网页继续获取后续的网页，这样整个网的节点便可以被蜘蛛全部爬行到，网站的数据就可以被抓取下来了。

爬虫概述
简单来说，爬虫就是获取网页并提取和保存信息的自动化程序，下面概要介绍一下。
(1) 获取网页
爬虫首先要做的工作就是获取网页，这里就是获取网页的源代码。源代码里包含了网页的部分有用信息，所以只要把源代码获取下来，就可以从中提取想要的信息了。
前面讲了请求和响应的概念，向网站的服务器发送一个请求，返回的响应体便是网页源代码。所以，最关键的部分就是构造一个请求并发送给服务器，然后接收到响应并将其解析出来，那么这个流程怎样实现呢？总不能手工去截取网页源码吧？
不用担心，Python提供了许多库来帮助我们实现这个操作，如urllib、requests等。我们可以用这些库来帮助我们实现HTTP请求操作，请求和响应都可以用类库提供的数据结构来表示，得到响应之后只需要解析数据结构中的Body部分即可，即得到网页的源代码，这样我们可以用程序来实现获取网页的过程了。
(2) 提取信息
获取网页源代码后，接下来就是分析网页源代码，从中提取我们想要的数据。首先，最通用的方法便是采用正则表达式提取，这是一个万能的方法，但是在构造正则表达式时比较复杂且容易出错。
另外，由于网页的结构有一定的规则，所以还有一些根据网页节点属性、CSS选择器或XPath来提取网页信息的库，如Beautiful Soup、pyquery、lxml等。使用这些库，我们可以高效快速地从中提取网页信息，如节点的属性、文本值等。
提取信息是爬虫非常重要的部分，它可以使杂乱的数据变得条理清晰，以便我们后续处理和分析数据。
(3) 保存数据
提取信息后，我们一般会将提取到的数据保存到某处以便后续使用。这里保存形式有多种多样，如可以简单保存为TXT文本或JSON文本，也可以保存到数据库，如MySQL和MongoDB等，也可保存至远程服务器，如借助SFTP进行操作等。
(4) 自动化程序
说到自动化程序，意思是说爬虫可以代替人来完成这些操作。首先，我们手工当然可以提取这些信息，但是当量特别大或者想快速获取大量数据的话，肯定还是要借助程序。爬虫就是代替我们来完成这份爬取工作的自动化程序，它可以在抓取过程中进行各种异常处理、错误重试等操作，确保爬取持续高效地运行。
能抓怎样的数据
在网页中我们能看到各种各样的信息，最常见的便是常规网页，它们对应着HTML代码，而最常抓取的便是HTML源代码。
另外，可能有些网页返回的不是HTML代码，而是一个JSON字符串（其中API接口大多采用这样的形式），这种格式的数据方便传输和解析，它们同样可以抓取，而且数据提取更加方便。
此外，我们还可以看到各种二进制数据，如图片、视频和音频等。利用爬虫，我们可以将这些二进制数据抓取下来，然后保存成对应的文件名。
另外，还可以看到各种扩展名的文件，如CSS、JavaScript和配置文件等，这些其实也是最普通的文件，只要在浏览器里面可以访问到，就可以将其抓取下来。
上述内容其实都对应各自的URL，是基于HTTP或HTTPS协议的，只要是这种数据，爬虫都可以抓取。
Scrapy框架之Spalsh渲染
原理说明：
基于spalsh渲染后HTML，通过配置文件解析，入库。提高了效率，一天可以写几十个配置dict，即完成几十个网站爬虫的编写。
配置文件说明:{ "industry_type": "政策", # 行业类别 "website_type": "央行", # 网站/微信公众号名称 "url_type": "中国人民银行-条法司-规范性文件", # 网站模块 "link": "http://www.pbc.gov.cn/tiaofasi/144941/3581332/index.html", # 访问链接 "article_rows_xpath": '//div[@id="r_con"]//table//tr/td/font[contains(@class, "newslist_style")]', # 提取文章列表xpath对象 "title_xpath": "./a", # 提取标题 "title_parse": "./@title", # 提取标题 "title_link_xpath": "./a/@href", # 提取标题链接 "date_re_switch": "False", # 是否使用正则提取日期时间 "date_re_expression": "", # 日期时间正则表达式 "date_xpath": "./following-sibling::span[1]", # 提取日期时间 "date_parse": "./text()", # 提取日期时间 "content": '//*[@class="content"]', # 正文HTML xpath "prefix": "http://www.pbc.gov.cn/", # link前缀 "config": "{'use_selenium':'False'}" # 其他配置：是否使用selenium（默认使用spalsh） },
完整代码参考

# -*- coding: utf-8 -*-
'''
需求列表:使用任何资讯网站的抓取
央行：
http://www.pbc.gov.cn/tiaofasi/144941/3581332/index.html
http://www.pbc.gov.cn/tiaofasi/144941/144959/index.html
公安部：
https://www.mps.gov.cn/n2254314/n2254487/
https://www.mps.gov.cn/n2253534/n2253535/index.html
http://www.qth.gov.cn/xxsbxt/sxdw/gajxx/
'''
from risk_control_info.items import BIgFinanceNews
import dateparser
from w3lib.url import canonicalize_url
from urllib.parse import urljoin
import scrapy
from scrapy_splash import SplashRequest
from risk_control_info.utils import make_md5, generate_text, clean_string
import re
script = """
function main(splash, args)
  splash.images_enabled = false
  splash:set_user_agent("{ua}")
  assert(splash:go(args.url))
  assert(splash:wait(args.wait))
  return splash:html()
end""".format(
    ua="Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.157 Safari/537.36")
class BigFinanceAllGovSpider(scrapy.Spider):
    name = 'big_finance_all_gov'
    custom_settings = {
   
   
        'RANDOMIZE_DOWNLOAD_DELAY': True,
        'DOWNLOAD_DELAY': 60 / 360.0,
        'CONCURRENT_REQUESTS_PER_IP': 8,
        'DOWNLOADER_MIDDLEWARES': {
   
   
            'scrapy_splash.SplashCookiesMiddleware': 723,
            'scrapy_splash.SplashMiddleware': 725,
            'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
            # 'risk_control_info.middlewares.SplashProxyMiddleware': 843,  # 代理ip,此方法没成功
            'risk_control_info.middlewares.RandomUserAgentMiddleware': 843,
            'risk_control_info.middlewares.SeleniumMiddleware': 844
        },
        # 入库
        'ITEM_PIPELINES': {
   
   
            'risk_control_info.pipelines.RiskControlInfoPipeline': 401,
            'risk_control_info.pipelines.MysqlPipeline': 402,
        },
        'SPIDER_MIDDLEWARES': {
   
   
            'risk_control_info.middlewares.RiskControlInfoSpiderMiddleware': 543,
            'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
        },
    }
    def __init__(self, **kwargs):
        super().__init__()
        self.env = kwargs.get('env', 'online')
    def start_requests(self):
        for target in self.target_info():
            if target.get('title_xpath') and target.get('title_link_xpath') \
                    and target.get('date_xpath') and target.get('article_rows_xpath'):
                self.logger.info(f"目标网站可配置爬虫信息:{target}"