python 如果遇到爬取解析到得文本为 style="display: none" 没有找到相关内容该怎样解决 修改文本属性获取新的内容

最新推荐文章于 2026-06-29 16:02:40 发布
原创 最新推荐文章于 2026-06-29 16:02:40 发布 · 置顶 · 7.6k 阅读 · 11
标签
#python #正则表达式
本文介绍了解决爬虫遇到的display:none问题的方法，通过使用pyquery库修改CSS样式，成功获取了原本隐藏的内容，并展示了详细的代码实现。

在有的爬取网页内容时候有时候遇到text得内容为空 如下图所示 这应该就是display:none的问题，遇到这样问题要改变css的style中的内容 这需要pyquery这个库

在这里插入图片描述

下面图是原始f12中的disply：block 显示内容 所以 爬取时候 内容一的到实际的内容为准 也就是requests.get(url = " ",headers = " ").text

在这里插入图片描述

不说太多上代码 下面有详细代码 本章用的是正则 的得到的 代码不懂可以评论 哈 最终结果 如图所示 在这里插入图片描述
import requests
import re
from pyquery
最低0.47元/天 解锁文章
关于面试总结10-selenium中隐藏元素如何定位？(hidden、display: none)
热门推荐
weixin_33744141的博客
12-24 1万+
前言 面试题：selenium中隐藏元素如何定位？这个是很多面试官喜欢问的一个题，如果单纯的定位的话，隐藏元素和普通不隐藏元素定位没啥区别，用正常定位方法就行了 但是吧~~~很多面试官自己都搞不清楚啥叫定位，啥叫操作元素（如click,clear,send_keys） 隐藏元素 如下图有个输入框和一个登录的按钮，本来是显示的 元素的属性隐藏和显示，主要是 type="hidden"和style=...
Python爬虫：xpath，cookie都正确仍然无法爬取需要的内容解决方法之一
m0_71242960的博客
12-23 2540
经过很多次尝试以及仔细观察所爬取的html代码内容，我发现有一个标签里含有的css代码：style = display:none ，这行代码可以把这个标签里面的内容隐藏。展开这个标签里面的内容，很可能就是我们所需要的真实的页面a标签里面的url地址。注意，这里说了一般，有些网站的反爬措施很高级，甚至会封掉你的ip。看这篇文章的猿猿们肯定有了一定的python-xpath爬虫基础了，后面对li_tree的处理以及延伸获取所需要的页面内容我在这就不介绍啦！这样我们就得到了正确的li_tree。
量子退火器在ANNNI模型中的Boltzmann采样研究
weixin_30647065的博客
04-22 609
量子计算作为新兴计算范式，其核心原理是利用量子叠加和纠缠效应实现并行计算。量子退火技术通过绝热演化过程，将量子系统从初始哈密顿量演化为目标Ising模型，特别适合解决组合优化问题。在工程实践中，D-Wave量子退火器已成功应用于材料模拟和机器学习等领域。ANNNI模型作为研究相变现象的经典模型，其受挫磁性系统的模拟对传统计算机极具挑战。研究表明，量子退火器能高质量实现Boltzmann采样，在J2=1.0高度受挫区域达到0.0003的总变差距离，远超经典蒙特卡洛方法。这项技术突破为复杂多体系统研究提供了新工
从零实现一个高性能网络爬虫（二）应对反爬虫之前端数据混淆
vwycm的博客
08-19 2177
摘要 上一篇以知乎网为例简单分享网络请求分析。这一篇主要分享一种应对反爬虫的方法，前端数据混淆。 目的 之前写https://github.com/wycm/zhihu-crawler项目的时候，需要用到免费的http代理，然后找到了这个 http://www.goubanjia.com/ 这个网站。现在需要把这个网站上的ip和port爬取下来，有兴趣的朋友也可以尝试自己爬取一下。 开始 打开这个网
display属性值:
wenwen_2008的专栏
10-24 3333
display属性值: none 此元素不会被显示。 block 此元素将显示为块级元素，此元素前后会带有换行符。 inline 默认。此元素会被显示为内联元素，元素前后没有换行符。 inline-block 行内块元素。（CSS2.1 新增的值） list-item 此元素会作为列表显示。 run-in 此元素会根据上下文作为块级元素或内联元素显示。 compact
2016.8.19 将div设置为隐藏使用style=“display:none”
weixin_30603633的博客
08-19 930
style="display:none"表示隐藏。 style="display:block"表示显示。 在代码中则使用$("#id").show(); 代码： 效果如图所示： 注意：display属性与visibiity属性的区别！ visibility属性： 确定元素显示还是隐藏； visibility="visible|...
关于Python爬虫的技巧总结
人生苦短， 还不用Python？
03-14 825
前言 如今已然是大数据时代，数据正在驱动着业务开发，驱动着运营手段，有了数据的支撑可以对用户进行用户画像，个性化定制，数据可以指明方案设计和决策优化方向，所以互联网产品的开发都是离不开对数据的收集和分析，数据收集的一种是方式是通过上报API进行自身平台用户交互情况的捕获，还有一种手段是通过开发爬虫程序，爬取竞品平台的数据，后面就重点说下爬虫的应用场景和实践中会遇到的问题和反反爬虫的一些套路与技巧...
构建CVE与NVD联动查询工具：聚合漏洞情报，提升安全分析效率
coolmsn8786的博客
06-16 485
在网络安全领域，漏洞管理是保障系统安全的基础环节。其核心原理在于对公开漏洞信息进行系统化收集、关联与分析，以评估风险并指导修复。这项技术的核心价值在于打破信息孤岛，将分散在NVD、Exploit-DB、GitHub等不同来源的漏洞描述、利用代码（POC/EXP）、修复方案进行自动化聚合，形成一份完整的漏洞档案。这极大地提升了安全工程师、运维人员在渗透测试、应急响应和日常加固中的工作效率。通过Python异步编程、数据解析与缓存等技术，可以构建一个轻量级的漏洞情报聚合引擎，实现从单一CVE编号到多维情报的快速
Selenium动态网页爬虫入门：从环境搭建到实战项目
CSDN头条
06-19 465
在Python网络数据采集领域，动态网页因其内容由JavaScript异步加载，对传统静态爬虫工具构成了挑战。其核心原理在于浏览器执行JavaScript脚本后渲染生成最终页面内容。为解决这一问题，Selenium作为浏览器自动化工具应运而生，它通过直接控制真实浏览器来模拟用户操作，从而获取完全渲染后的页面数据，技术价值在于能够有效处理登录、翻页、弹窗等复杂交互场景，并天然绕过许多基于JavaScript的反爬机制。在应用层面，Selenium结合显式等待、元素定位等技巧，成为爬取动态新闻列表、电商商品详情
Reddit网页爬虫实战：Requests+BeautifulSoup4稳定采集指南
weixin_30336061的博客
06-23 431
Reddit作为全球最大的兴趣社区之一，其子版块（subreddit）蕴含海量真实用户讨论数据，是舆情分析、语义研究和竞品监测的重要来源。其数据获取本质依赖HTTP协议与HTML结构解析，核心原理在于模拟合法浏览器行为、绕过JavaScript渲染陷阱、精准提取嵌套评论树。技术价值体现在高稳定性、低资源消耗及对原始语义（如HTML标签、删帖标记、引用层级）的完整保留。典型应用场景包括学术语料构建、产品反馈挖掘与小规模商业分析。本文聚焦Scraping Reddit with Python and Beaut
Medium阅读行为分析：用Spacy+Seaborn挖掘用户真实动作
atu99602的博客
06-13 384
用户行为分析是内容运营与产品优化的核心技术能力，其本质是将原始交互日志转化为可解释的意图信号。原理上需融合文本语义理解（如NER识别技术实体）与行为模式建模（如滚动深度、路径跳转），关键技术价值在于绕过主观问卷、直击‘用户实际做了什么’。典型应用场景包括内容完读率归因、作者影响力图谱构建、跨主题读者迁移路径发现等。本实践以Medium为案例，聚焦Spacy领域适配与Seaborn高信噪比可视化两大支柱，验证了轻量级NLP+统计可视化组合在真实业务数据中的落地效能。
Claude Code深度解析：基于Chrome DevTools Protocol的浏览器内核级操控
weixin_30813225的博客
06-22 309
Chrome DevTools Protocol（CDP）是现代浏览器自动化的核心通信协议，它允许程序通过WebSocket直接与Chrome渲染进程交互，实现DOM操作、网络拦截、事件模拟等底层能力。相比Selenium等外部驱动方案，CDP具备零延迟、无沙箱限制、原生事件支持等技术优势，广泛应用于动态爬虫、反爬绕过、前端调试与智能代理构建。其关键依赖包括--remote-debugging-port参数启用、targetId会话绑定及版本兼容性（如Chrome 109对referrerPolicy的强制
Selenium动态网页爬虫实战：从原理到天气数据抓取完整指南
weixin_34413802的博客
06-25 422
在数据采集领域，动态网页内容的抓取是常见的技术挑战。其核心原理在于现代网站大量使用JavaScript进行数据渲染，传统的静态请求库无法获取异步加载的内容。为解决这一问题，浏览器自动化技术应运而生，它通过模拟真实用户操作，驱动浏览器执行JavaScript并获取完整渲染后的DOM，从而实现‘所见即所得’的数据抓取。这项技术在需要获取实时、交互式数据的场景中具有重要价值，例如监控价格、采集社交媒体信息或抓取动态更新的天气数据。本文以天气数据抓取为具体案例，深入剖析了Selenium这一主流工具的应用，涵盖了从
Selenium自动化测试：从核心原理到实战框架构建
最新发布
weixin_28676289的博客
06-29 10
自动化测试是现代软件工程中保障质量、提升效率的关键实践。其核心原理是通过脚本模拟用户操作，对软件功能进行重复、精准的验证，从而将测试人员从繁重的手工回归测试中解放出来。这项技术的核心价值在于实现快速反馈，是支撑敏捷开发和持续集成/持续交付（CI/CD）流程的重要环节。在Web应用测试领域，Selenium作为遵循W3C标准的开源工具套件，凭借其跨浏览器、多语言支持和庞大的社区生态，成为构建自动化测试体系的基石技术。它通过WebDriver协议与浏览器交互，支持多种元素定位策略和等待机制，以应对现代动态页面的
理解与应用css中的display属性
Liuqz2009的专栏
02-12 1万+
　　display属性是我们在前端开发中常常使用的一个属性，其中，最常见的有：noneblockinlineinline-blockinherit　　下面，我将按照顺序将上述几种属性做一个完整的讲解。第一部分：display:none　　none这个值表示此元素将不被显示。比如，当我们在浏览网页时，如果看到了某个烦人的广告遮挡了我们的实现，更为可气的是，它还没有关闭的选项，这时（以chrome为例...
style中display:none与visible:hidder的区别 以及disabled与readonly的区别
dengchezhong6725的博客
11-27 997
//style中display:none与visible:hidder的区别：display:none ---不为被隐藏的对象保留其物理空间，即该对象在页面上彻底消失，通俗来说就是看不见也摸不到。visible:hidden--- 使对象在网页上不可见，但该对象在网页上所占的空间没有改变，通俗来说就是看不见但摸得到。一下内容为引用1-4： 1、如果在样式文件或页面文件代码中直接用dis...
巧用style的display隐藏对象
程序才是王道...
03-16 3149
发现CSS一句话很经典：style="display: none"，加在哪就能就隐藏哪，做了一个隐藏的上传文件框，点击本机上传或checkbox后出现，再点击又将其隐藏。实现代码如下： function fjian(){if(document.getElementById(fj).style.display=="none") { fj.style.display="" document
设置style属性为display:none，关闭时间弹框
CPS1016347441的博客
07-18 1796
背景： 12306时间框的练习，这个时间框是readonly属性，通过js代码先把属性删除了，再写上时间，关闭弹框。关闭时间弹框的手工操作有以下这几个方法： ①输入完时间后直接按enter键就可以关闭时间弹框 ②输入完时间后直接按tab键就可以关闭时间弹框 ③输入完时间后直接点击“出发地” “到达地”的输入框后时间选择框也能自动关闭 ④点击其他文字，例如“出发地” 、“到达地” 、“出发日期”也可以让时间弹框关闭 还有其他很多类似的方法，不再举例 验证①②想法 WebDriver
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值