selenium从入门到精通
Selenium 是一个web自动化工具
- 自动化测试
通过它,我们可以写出自动化程序,模拟浏览器里操作web界面。 比如点击界面按钮,在文本框
中输入文字 等操作。 - 获取信息
而且还能从web界面获取信息。 比如招聘网站职位信息,财经网站股票价格信息 等等,然后用程
序进行分析处理。
运行环境
Selenium测试直接运行在浏览器中,就好像一个真正的用户在操作一样, 支持大部分主流的浏览
器,包括IE(7,8,9,10,11),Firefox,Safari,Chrome,Opera等。
我们可以利用它来模拟用户点击访问网站,绕过一些复杂的认证场景
通过selenium+驱动浏览器这种组合可以直接渲染解析js,绕过大部分的参数构造和反爬。
注意事项
新版本的Selenium已经不在支持phantomjs,原作者也已经放弃维护该项目了。还有在做爬虫的时候尽量不要用这种方法,Selenium+浏览器的组合速度慢,应付不了数据量比较大的爬取以及并发爬取。并且很吃电脑资源。
基本使用

selenium安装
终端输入 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple
浏览器驱动安装
Microsoft Edge WebDriver | Microsoft Edge Developer
https://googlechromelabs.github.io/chrome-for-testing/
https://googlechromelabs.github.io/chrome-for-testing/known-good-versions-with-downloads.js
on
元素选取
find_element(s)by_…方法
在一个页面中有很多不同的策略可以定位一个元素。我们可以选择最合适的方法去查找元素。
Selenium提供了下列的方法:
注: 其中的element加上一个s,则是对应的多个元素的查找方法
老版本selenium的方法

437

被折叠的 条评论
为什么被折叠?



