pyppeteer使用阿布云代理隧道问题以及代码和代理是否成功 python3 selenium设置代理ip的实现 IP 非真人甑别

最新推荐文章于 2026-04-11 14:56:24 发布

原创最新推荐文章于 2026-04-11 14:56:24 发布 · 6.7k 阅读

4 ·

本内容遵循CC 4.0 BY-SA版权协议

python 同时被 2 个专栏收录

200 篇文章

订阅专栏

Go Cloud computing

86 篇文章

订阅专栏

本文介绍了在Python3中使用Selenium和Pyppeteer设置代理IP的方法，强调了选择稳定代理IP的重要性，并提供了阿布云代理隧道的代码示例。同时，提到了RTBAsia非人类访问量甄别服务来检查代理IP的有效性。

python3 selenium模块Chrome设置代理ip的实现

selenium模块Chrome设置代理ip的实现代码：

from selenium import webdriver
chromeOptions = webdriver.ChromeOptions()

# 设置代理
PROXY = "124.206.133.227:80"
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server={0}'.format(PROXY))
# 一定要注意，=两边不能有空格，不能是这样--proxy-server = 202.20.16.82:10152
browser = webdriver.Chrome(chrome_options = chromeOptions)

# 查看本机ip，查看代理是否起作用
browser.get("http://httpbin.org/ip")
print(browser.page_source)

# 退出，清除浏览器缓存
browser.quit()

注意事项：
1，代理IP最好是稳定的固定IP，不要选动态IP。我们常用的爬虫IP是高匿名动态IP，是通过拨号动态产生的，时效性很短，一般在1~3分钟。对于scrapy这种并发度很高，又不需要登录的爬虫来说，非常合适，但是在浏览器渲染类爬虫中并不适用。
2，代理IP的速度。因为selenium爬虫采用的是浏览器渲染技术，本身速度就很慢。如果选择的代理IP速度较慢，就会大大增加爬取的时间。
3，电脑内存要够大。因为chrome占内存较大，在并发度很高的情况下，容易造成浏览器崩溃，也就是程序崩溃。
4，在程序结束时，调用 browser.quit( ) 清除浏览器缓存。

RTBAsia非人类访问量甄别服务

https://ip.rtbasia.com/

http://www.ipip.net/ip.html

# 查看本机ip，查看代理是否起作用

https://whoer.net/zh

browser.get("http://httpbin.org/ip")
print(browser.page_source)

在pyppeteer 使用匿名代理ip，由于购买的代理ip，需要验证用户名和密码解决方法如下：

mport asyncio
from pyppeteer import launch

async def register():
    browser = await launch({
        'headless': False,
        # 代理ip
        'args': ['--proxy-server=47.105.111.124:15525', ]
    })

    page = await browser.newPage()
    # 设置代理ip验证
    await page.authenticate({
        'username': '17475066',
        'password': '1icmm7xk'
    });
    await page.setJavaScriptEnabled(enabled=True)
    await page.goto('http://www.ip138.com/')
    time.sleep(300)
    
asyncio.get_event_loop().run_until_complete(register())

代理写法
阿布云代理隧道代码

import random
def Proxies():
    proxyHost = "http-dyn.abuyun.com"
    proxyPort = "9020"
    # 代理隧道验证信息

    proxyServer = "http://" + proxyHost + ":" + proxyPort
    return proxyServer

def Authens():
    proxyUser = "你的代理账号"
    proxyPass = "你的代理密码"
    authen = {"username": proxyUser, "password": proxyPass}
    return authen

pyppeteer使用隧道代理demo

import asyncio
from IP_Proxies import Proxies,Authens
from pyppeteer import launch
async def main(url):
  browser = await launch(headless=True, args=['--disable-infobars', "--proxy-server=" + Proxies()])   # headless=True 启动了无头模式，--proxy-server 启动了代理
  page = await browser.newPage()
  await page.authenticate(Authens())          # 输入代理账号密码
#  await page.setExtraHTTPHeaders(Proxies())            # 在pyppeteer中和puppeteer是一样的，都不能把隧道加在args里，只能加在headers里

  await page.goto(url)
  await page.evaluate('''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''')
  await asyncio.sleep(3)
  await page.screenshot({'path':str(name)})                  # 截图
  print(await page.content())
  await asyncio.sleep(3)
  await browser.close()


asyncio.get_event_loop().run_until_complete(main(url))     # 启动项目

在python爬虫中pyppeteer是一个很好用的测试工具，但是在百度上很少能找到pyppeteer的资料，pyppeteer是从node.js中的puppeteer中转变过来的，所以有任何的问题在puppeteer中找就可以找到

还有一些问题是pyppeteer在linux中要在args中添加一个字段'--no-sandbox'

推荐一些博客，这些博客给了我很多的帮助
https://aaron-bird.github.io/2019/04/22/puppeteer%E5%85%A5%E9%97%A8/

https://www.ddnpc.com/puppeteer-error.html

puppeteer中文手册

一个全栈爬虫的博客

pyppeteer官方文档