爬取使用了Ajax技术的网页中的数据

原创 已于 2025-03-11 18:57:49 修改 · 717 阅读 · 9 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
GEO检测
标签
#爬虫 #python
于 2025-03-01 00:29:45 首次发布

文章目录

问题分析

Ajax是一种用于创建快速动态网页的技术，通过在后台与服务器进行少量数据交换，使网页实现异步更新。这意味着在不重新加载整个网页的情况下，可以对网页的某部分进行更新。怎么判断一个网页是否使用了ajax技术呢？可以点击网页上任意更新网页内容的按钮，看一下网页的url(Uniform Resource Locator)是否发生变化，如果没有变化，应该就是使用了ajax技术。使用了这个技术的网页对应的html源代码里面没有包含我们需要的所有信息，这时单单使用requests库再用bs4库解析的套路就行不通了。解决方法有两种1：

  1. 解析接口：既然网站的内容发生了变化，那就说明服务器传东西过来了，从而咱也一定向服务器发送了请求。我们只需要使用浏览器的检查工具，弄清楚向哪个url偷偷发送请求得到了数据就ok了，咱也去请求这个url。
  2. Selenium库（本文使用第一种方法）

本文以爬取https://www.cnss.com.cn/html/gkryjg/ 网站上的油价数据为例，说明如何使用解析接口的方式爬取使用了ajax技术的网页。
在这里插入图片描述

我们点击加载更多，可以发现网页偷偷向https://www.cnss.com.cn/api/content/list.jspx 这个url发送了请求，从负载中可以看到这个url的查询参数有三个。
在这里插入图片描述

在响应中我们可以看到这个url给网页返回了一些json数据构成的列表。列表中包含了网页更新内容对应的url。
在这里插入图片描述

多次尝试可以发现每次点击加载更多，网页都是悄悄向上述url偷偷发送请求，而查询参数部分只有first这一个参数发送变化，经过分析可以知道first参数实际上就是新一批内容首个内容的序号。到这里基本思路就出来了——首先，不断调整查询参数first向上述url发送请求，收集所有包含了某日油价数据网页的url。然后再依次对这些网页进行爬取，收集出这些网页中的数据。

编程实现

首先来设计一个url管理器，避免网页重复爬取2。

# -*- coding: utf-8 -*-
"""
Created on Wed Feb 26 16:22:53 2025
urlmanager模块
@author: syaunsheng
"""

class Urlmanager(object):
    """url管理器"""
    def __init__(self):
        self.not_crawled_url_set = set() # 还没有被爬取的url的集合
        self.is_craled_url_set = set() # 已经被爬取的url的集合
        
    def has_url(self):
        """检查是否还有待爬取的url"""
        return len(self.not_crawled_url_set)
        
    def get_url(self):
        """从not_crawled_url_set返回一个url并放入is_craled_url_set"""
        if self.has_url():
            url = self.not_crawled_url_set.pop()
            self.is_craled_url_set.add(url)
            return url
        else:
            return None
    
    def add_url(self,url):
        if url not in self.not_crawled_url_set and url not in self.is_craled_url_set: 
            self.not_crawled_url_set.add(url)
    
    def add_urls(self,urls):
        for url in urls:
            self.add_url(url)

if __name__ == "__main__":
    urlmanager = Urlmanager()
    urlmanager.add_url("http://www.bilibili.com")
    print(urlmanager.not_crawled_url_set)
    print(urlmanager.get_url())
    print(urlmanager.not_crawled_url_set,urlmanager.is_craled_url_set)

然后收集所有待爬取网页的url，并依次爬取各个url。

# -*- coding: utf-8 -*-
"""
Created on Fri Feb 28 20:48:09 2025
@author: syaunsheng
"""
import requests
import pandas as pd
from io import StringIO 
from urlmanager import Urlmanager
from bs4 import BeautifulSoup

# 收集所有待爬取url
def get_all_necessary_urls(days=22):
    """默认获取近22天油价数据对应的所有网页的url"""
    all_necessary_urls = []
    counter = 0
    for first in range(11,days+1,11):
        r = requests.post(url1,headers={
            'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36 Edg/133.0.0.0',
            'referer':'https://www.cnss.com.cn/html/gkryjg/'
            },params={
                'first' : first,
                'count':  11,
                'channelIds': 63
                })
        if r.status_code == 200:
            counter += 11
            print('获取成功,url总数{}'.format(counter))
        else:
            print('获取失败')
            continue
        # url1返回的是json数据,对每一个json数据做单独处理
        for json_data in r.json():
            all_necessary_urls.append(base_url+json_data["url"])
    return all_necessary_urls

# 依次爬取每个url中的数据
def get_data_from_urls():
    big_df_lst = []
    while urlmanager.has_url():
        url = urlmanager.get_url()
        r = requests.get(url,headers={
            'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36 Edg/133.0.0.0',
            'referer':'https://www.cnss.com.cn/html/gkryjg/'
            })
        if r.status_code == 200:
            print('请求成功。剩余待访问url数={}'.format(urlmanager.has_url()))
        else:
            print('请求失败！剩余待访问url数={}'.format(urlmanager.has_url()))
            continue
        r.encoding = 'utf-8'
        #soup = BeautifulSoup(r.text,'html.parser')
        # 使用bs4解析获取每个url对应数据的日期，方便后续处理
        # date = soup.find('p',class_='article-title').get_text()[:10]
        date = url[37:45]
        # 使用pandas解析出表格数据
        s = StringIO();s.write(r.text);s.seek(0)
        df_lst = pd.read_html(s,header=0) 
        concatenated_df = pd.concat(df_lst,join='outer',ignore_index=True,axis=0)
        concatenated_df['date'] = date
        big_df_lst.append(concatenated_df)
    return pd.concat(big_df_lst,join='outer',ignore_index=True,axis=0)
    
if __name__ == '__main__':
    base_url = 'https://www.cnss.com.cn/' 
    url1 = "https://www.cnss.com.cn/api/content/list.jspx" 
    urlmanager = Urlmanager();urlmanager.add_urls(get_all_necessary_urls(days=330)) # 获取近330天的油价
    data = get_data_from_urls();data.to_excel('.\油价数据.xlsx')

实验结束，获得近330天的油价数据，并写入excel中。
在这里插入图片描述

附：前端基础知识

了解一些前端知识是python爬虫的基础。参考：

  1. html,css和javascript相关知识：https://www.bilibili.com/video/BV1BT4y1W7Aw
  2. http协议，浏览器开发者工具相关知识：https://www.bilibili.com/video/BV165411A7ef

HTML(Hyper Text Marked Language)、CSS(Cascading Style Sheets)、Javascript是构建现代网页的关键技术，它们之间有着紧密的关系。HTML是一种标记语言，主要用于描述网页的结构和内容；CSS用于设置网页的样式；JavaScript是一种脚本语言，用于增强网页的交互性和动态性。HTML和CSS相对简单，主要是把搞懂JavaScript搞懂。

  • HTML常用标签的含义以及常用CSS属性：https://zhuanlan.zhihu.com/p/9201482393
  • HTML的块标签、行内标签、行内块标签的含义和区别：https://blog.csdn.net/weixin_44706267/article/details/121022104
  • HTML中导入CSS的方式：https://www.runoob.com/w3cnote/html-import-css-method.html
  • CSS必须加分号的坑：https://www.zhihu.com/question/20283093
  • HTML,CSS,JS注释写法不同，避坑：https://blog.csdn.net/woshisangsang/article/details/120839199
  • CSS盒子模型概念，用于页面布局：https://blog.csdn.net/m0_46958731/article/details/114544954 推荐使用定位布局方式，更好控制。
  • JavaScript基本语法：https://blog.csdn.net/2301_80208072/article/details/143455858
  • JavaScript构成：https://blog.csdn.net/qq_52736131/article/details/123563321 ，其中dom这个概念非常重要，简单讲dom使得我们可以用js语言去操作html文档，获取html中的节点、修改节点内容、插入新节点、删除节点…使得网页发生动态变化。
  • JavaScript函数和触发事件的绑定：https://blog.csdn.net/wangxuanyang_zer/article/details/129626676

下面来实战，写一个网页，实现数据的增删查改。

<!DOCTYPE html>
<html lang='en'>

<head>
	<meta charset = 'utf-8'>
	<title>一个信息表格</title>
	<style>
		/*内嵌方式使用css*/
		table{
			width:100%;
			border-collapse:collapse; /*设置表格内元素无间隙*/
			margin-top:5px;
		}
		th,td{
			border:1px solid;
			text-align:center;
			padding:8px;
		}
		th{
			background-color:gray;
		}
		button{
			margin-right:5px;
		}
	</style>
</head>

<body>
	<h1 style="text-align:center">表格的增删改查</h1>
	<!--通过on前缀+事件类型的属性为新增数据这个按钮绑定监听函数add_data-->
	<button onclick='add_data()'>新增数据</button>
	<!--这里设置id的目的是便于js获取到这个节点-->
	<table id=0>
		<tr>
			<th>姓名</th>
			<th>电话</th>
			<th>操作</th>
		</tr>
	</table>
	<script src='./table.js'></script> <!--导入外部js代码-->
</body>

</html>

// table.js文件
// 给新增数据这个按钮创建监听函数
function add_data(){
	// 通过table节点的id属性获取到table节点
	var table_node = document.getElementById(0)
	// 新增数据的方法很简单，就是在html对应位置再插入一行三列
	var row_1d = table_node.rows.length // 获取要插入行对应的索引,然后使用table节点的insertRow方法插入row节点并返回
	var table_row = table_node.insertRow(row_1d)
	// 在再table_row节点中插入列节点对象并返回
	var table_col1 = table_row.insertCell(0)
	var table_col2 = table_row.insertCell(1)
	var table_col3 = table_row.insertCell(2)
	console.log(table_row)
	// 最后来设置table_col节点中间的文本
	table_col1.innerHTML = "未命名"
	table_col2.innerHTML = "无联系方式"
	// this属性相当于当前节点对象
	table_col3.innerHTML = "<button onclick='edit(this)'>编辑</button><button onclick='delete_data(this)'>删除</button>"
}

// 给删除这个按钮创建监听函数
function delete_data(button){
	// 参数传进来要删除的那行数据对应的button，方便定位,获取到它父节点的父节点
	var node_to_delete = button.parentNode.parentNode
	// 再找到node_to_delete的父节点——即整个表格，在在整个表格的基础上删掉node_to_delete节点即可
	node_to_delete.parentNode.removeChild(node_to_delete)
}

// 给编辑这个按钮创建监听函数
function edit(button){
	var row_to_edit = button.parentNode.parentNode
	var table_col1 = row_to_edit.childNodes[0]
	var table_col2 = row_to_edit.childNodes[1]
	var name = prompt('输入姓名')
	var phone = prompt('输入电话号')
	table_col1.innerHTML = name
	table_col2.innerHTML = phone
}

Hyper Text Transfer Protocol（http协议）相关知识参考：https://mp.weixin.qq.com/s/5zkMuUNMzugyfxNtg1VkIQ

  1. https://blog.csdn.net/m0_59162248/article/details/128048293 ↩︎

  2. https://www.bilibili.com/video/BV1CY411f7yh ↩︎

如何爬取通过ajax加载数据的网站
09-18
主要介绍了如何爬取通过ajax加载数据的网站,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
可狱可囚的爬虫系列课程 15：防盗链反爬虫的处理
Mr.Fu的博客
02-26 605
当其他网站尝试直接链接到受保护的资源时，服务器会根据设置的规则判断请求来源，如果发现请求来自未经授权的网站，则拒绝提供资源。（3）借助前面提到过的爬虫方法，我在该视频网站中找到了两处关键点：一方面在浏览器地址栏找到了用于构造视频地址的编号，另一方面找到了数据接口也发现了可用于构造视频地址的信息。（2）但是当我尝试使用代码将此视频链接进行抓取时，渐渐的发现了端倪，视频链接并不是固定在网页中的，而是在点击播放视频时加载上去的。我们在某视频网站中随便打开一个网页，借助开发者工具寻找视频的播放链接。
番茄小说-字体加密
xuexueyouzi的博客
05-17 3094
字体加密是一种常见的反爬虫技术，通过自定义字体文件将字符重新映射，使得爬虫获取的文本与实际显示内容不一致。其核心在于使用TTF或WOFF格式的字体文件，浏览器加载时根据这些文件渲染文本。以番茄小说为例，其通过自定义字体文件对小说内容进行加密，每个字符被映射为不同的Unicode编码。
如何对ajax型的网页数据进行抓取
企业级技术与网站app运营
10-11 5759
如何对ajax型的网页数据进行抓取。 ，“更多新问题”就是发送的ajax请求。  其实抓ajax的页面和抓普通的页面区别不大。ajax只不过是做了一次异步的http请求，只要使用firebug类似的工具，找到请求的后端服务url和传值的参数，然后对该url传递参数进行抓取即可。利用firebug的网络工具，如图所示：    下面代码就是以车问网站为例，通过curl发送POST请求，获
nginx--基础--3.14--案例--访问限制
zhou920786312的博客
10-10 860
只有请求都不满足以下条件的时候，才会返回403。
10个非常棒的Ajax及Javascript实例资源网站
bluedusk
03-11 294
　向大家推荐10个相当棒的Ajax和Javascript国外资源网站或博客，它们提供了相当多的高质量Ajax、Javascript实例及教程，喜欢Ajax和Javascript的朋友绝对不能错过。 1.Ajax Rain 　　AjaxRain有很多完美整合AJAX, CSS, DHTML 或 Javascript的实例，有一些Demo的确值得你去看一看，即使你不是网页设计(开发)师。   Aja...
如何爬取ajax数据,爬取基于Ajax技术网页数据
weixin_36349685的博客
08-05 1455
爬取动态网页数据：1.需求：爬取什么网站获得什么内容，存储在excel、txt与MySQL数据库中。2.分析：分析页面源码，找到需要的数据在哪里打开目标网站-->输入关键词-->查看源码-->没发现数据信息打开目标网站-->输入关键词-->按F12-->Network(网络)刷新-->找到带ajax请求字样的url，我们可以发现存在数据开头的json文件，...
动态网页爬取 —— ajax 与 selenium
SoyMilk的博客
11-16 1838
动态网页（Dynamic Web Page）是指网页的内容能够根据用户的请求、用户的行为或其他条件动态生成和变化的网页。与静态网页不同，动态网页不是预先存储好的固定内容，而是在用户访问时通过服务器端的处理或客户端的脚本执行即时生成的。。
Python ：selenium 爬取Ajax技术网页，并存入MySQL数据库 和 本地CSV文件
weixin_41300650的博客
09-04 1654
本次爬虫是对 天天基金网的 华泰柏瑞沪深300ETF基金 各年度各季度股票投资明细 爬取。 因为直接通过requests 爬取的网页源代码 所爬数据需js渲染，使用selenium的Webdriver，模拟真实浏览器，用来解决JavaScript渲染问题。 主程序，使用selenium打开网页,webdriver.Chrome()声明使用的浏览器 from seleniu...
【愚公系列】《Python网络爬虫从入门到精通》020-爬取动态渲染信息（Ajax数据的爬取）
热门推荐
愚公智库
02-18 12万+
在当今的互联网时代，动态网页已经成为了常态，许多网站使用Ajax技术来异步加载数据，这使得我们在进行数据爬取时面临着新的挑战。与传统的静态网页不同，Ajax请求通常不会直接在HTML源代码中显示出所需的数据，这就要求我们采取更灵活的方法来获取这些信息。本期文章将带你深入了解Ajax数据的爬取技巧。我们将探讨Ajax原理和工作方式，以及如何使用Python等工具有效地抓取由Ajax动态加载的数据。
ajax爬取微博
y180813的博客
07-16 182
使用ajax爬取微博 转载
如何爬取动态网页的数据？Python实战案例
qq_46614154的博客
05-22 4791
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 一、什么是动态网页 所谓的动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发生变化了——除非你修改页面代码。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。——来源百度百科 动态网页具有减少工作量、内容更新快、可完成功能多等特点，被很多公司所采用，比如狗东、某
〖Python网络爬虫实战㉕〗- Ajax数据爬取之Ajax 案例实战
爱吃饼干的小白鼠的博客
05-14 2197
本节中我们通过一个案例来体会了 Ajax 分析和爬取的基本流程，希望大家通过本节能够更加熟悉 Ajax 的分析和爬取实现。另外，我们也观察到，由于 Ajax 接口大部分返回的是 JSON 数据，所以在一定程度上可以避免一些数据提取的工作，这也在一定程度上减轻了工作量。
最帅爬虫_Ajax数据获取
raojiaxing_的博客
05-18 791
目录一，什么是Ajax二，Ajax请求的分析方法Ajax 请求的分析步骤可以总结为三步：1、分析请求2、分析响应3、解析响应内容三，案例（豆瓣电影网信息的爬取） 一，什么是Ajax 我们与网站服务器通信的唯一方式，就是发出 http 请求获取新页面。 如果提交表单之 后，或从服务器获取信息之后，网站的页面不需要重新刷新，那么你访问的网站就在用 Ajax 技术。 Ajax不是一门语言，而是一种异部刷新的技术。 二，Ajax请求的分析方法 浏览器的开发者模式是有过滤 Ajax 请求功能的。 Ajax 过滤界面如
Python轻松实现动态网页爬虫(附详细源码)！
爬遍所有网站
05-22 1万+
AJAX动态加载网页 一 什么是动态网页 J哥一向注重理论与实践相结合，知其然也要知其所以然，才能以不变应万变。 所谓的动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发生变化了——除非你修改页面代码。而动态网页则不然，页面代码虽然没有变，但是显示的内容却是可以随着时间、环境或者数据库操作的结果而发生改变的。——来源百度百科 动态网页具有减少工作量、内容更新快、可完成功能多等特点，被很...
爬虫：Ajax数据爬取
二十四桥明月夜
01-03 1万+
目录 1、什么是Ajax 1.1 实例的引入 1.2 基本原理 2、Ajax分析方法 1、查看请求 2、过滤请求 3、Ajax结果提取 1、分析请求 2、分析响应 3、例子 我们在用 requests 抓取页面的时候，得到的结果可能和在浏览器中看到的不一样：在浏览器中可以看到正常显示的页面数据，但是使用 requests 得到的结果并没有， 这是因为 requests 获取的 都是原始的 HTML 文档，而浏览器中的页面则是经过 JavaScript 处理数据后生成的结果，这些数据的.
ajax post数据到服务器 处理后加载处理过的数据的页面_如何爬取动态网页的数据？Python实战案例...
weixin_34191434的博客
12-29 222
前言本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。欢迎关注小编，除了分享技术文章之外还有很多福利，私信学习资料可以领取包括不限于Python实战演练、PDF电子文档、面试集锦、学习资料等。一、什么是动态网页所谓的动态网页，是指跟静态网页相对的一种网页编程技术。静态网页，随着html代码的生成，页面的内容和显示效果就基本上不会发...
基于现代Python技术的Ajax动态网页爬取实战
2201_76125261的博客
07-18 934
本文详细介绍了如何使用Python最新技术栈实现Ajax动态网页的爬取。文章从Ajax基本原理讲起，逐步深入到现代爬虫技术的核心实现，包括异步请求处理、动态数据解析、反反爬策略等关键技术点。通过完整的实战案例和代码示例，读者将掌握使用aiohttp、httpx、Playwright等工具高效爬取动态内容的方法，并了解最新的反爬对抗技术。本文内容超过5000字，包含多个可运行的代码示例，适合中高级Python开发者学习现代网络爬虫技术。关键词。
Python爬虫实战：动态加载网页（AJAX）数据抓取全攻略
最新发布
2201_76125261的博客
08-09 669
在当今互联网时代，越来越多的网站采用动态加载技术（如AJAX）来提升用户体验。传统的静态网页已经逐渐被富客户端应用所取代，这给网络爬虫开发带来了新的挑战。据统计，超过85%的现代网站使用了某种形式的动态内容加载技术。动态网页与静态网页的主要区别在于内容的加载方式。静态网页的内容在服务器端就已经完全生成，爬虫只需要简单的HTTP请求就能获取全部内容。而动态网页则是在浏览器中通过JavaScript动态生成和更新内容，这要求爬虫必须具备执行JavaScript和与动态内容交互的能力。
Ajax数据爬取 （微博的爬取）
m0_49475955的博客
10-26 494
** Ajax数据爬取 （微博的爬取） ** 引言 AJAX ，全称 Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）利用JavaScript在保证页面不被刷新、页面链接不改变的情况下与服务器交换数据并更新部分网页的技术。 举个例子： 例如浏览微博时，一直下滑，我们会发现微博网页底部会有下滑查看 更多，不一会儿就有新的微博。 手机版微博的爬取（学自于崔庆才所以就爬取崔庆才的微博） 网址： https://m.weibo.cn/api/c
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值