爬虫日记03：多线程与异步协程对图片进行下载

原创

已于 2022-01-20 20:09:03 修改 · 820 阅读

标签

#爬虫 #python #多线程

收录于

于 2022-01-17 00:44:41 首次发布

本文介绍了如何通过多线程和异步协程来提高图片下载速度。在爬虫实践中，多线程允许在主线程执行任务时并行处理其他任务，而协程在遇到IO操作时可以切换到其他任务，实现高效无阻塞的下载。文章展示了使用aiohttp和asyncio库进行异步下载的代码示例，并提出了在实际运行中遇到的问题，期待读者提供解决方案。

爬虫日记2：爬取好看的图片

在上一章中我们对某网站好看的图片进行了下载，但下载速度太慢了。

接下来这一章我给大家带来2个下载速度加快的方法。

一、多线程

多线程：为了更好的利用cpu的资源，如果只有一个线程，则第二个任务必须等到第一个任务结束后才能进行，如果使用多线程则在主线程执行任务的同时可以执行其他任务，而不需要等待；

首先我们导入我们所需要的模块

from concurrent.futures import ThreadPoolExecutor

其他代码我就不放在这里，感兴趣的可以在爬虫日记2：爬取好看的图片里看一下。

废话不多说了，我们主要在主函数里加一些代码就行了。直接上代码。

if __name__ == '__main__':
    head = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36"}
    with ThreadPoolExecutor(50) as t: # 创建50个线程池
       for i in range(1,4): # 调取页面信息3次
            # 提交任务给线程池