爬虫 - 项目学习 - 爬取免费视频链接 - 分页获取数据请求分析（request请求模拟，re分析数据，文件存储）

最新推荐文章于 2025-06-14 18:30:42 发布

原创

最新推荐文章于 2025-06-14 18:30:42 发布 · 655 阅读

收录于

当前文章被以下社区和专栏收录：

本文主要介绍了如何进行爬虫项目学习，通过分析视频信息主页面的分页请求，模拟request请求，利用re进行数据解析，并将获取到的免费视频链接进行文件存储。

一、分类视频信息主页面分析

二、程序代码

一、分类视频信息主页面分析

存在页面下滚，触发视频的更新，即网页发送get请求

https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=5&start=24&mrd=0.3802117356429201&filterIds=1508489,1507782,1507062,1508756,1508755,1508754,1508749,1508745,1508736,1508730,1508711,1508710,1508624,1508568,1508605

分页请求链接分析
https://www.pearvideo.com/category_loading.jsp?reqType=5&categoryId=5&start=24
reqType - 
categoryId - 分类类型
start - 数据显示起始码，12的倍数显示