120、queue 模块：生产者消费者模式、优先级队列与多线程任务调度

120、queue 模块：生产者消费者模式、优先级队列与多线程任务调度

上周帮一个做爬虫的同事排查线上问题，发现他的多线程爬虫跑着跑着就卡死了，日志里没有任何异常，CPU占用也不高，就是任务不往下走了。我一看代码，他用了queue.Queue，但生产者往队列里放数据时没有设置超时，消费者那边又因为某个异常导致task_done()没调用，结果join()一直阻塞，整个程序就僵在那了。这种坑我踩过不止一次，今天借着这个案例，把queue模块的几个核心用法掰开揉碎讲清楚。

生产者消费者模式：别让线程裸奔

多线程编程里最经典的场景就是生产者消费者模式。生产者负责生成数据，消费者负责处理数据，中间用队列做缓冲。Python的queue.Queue是线程安全的，内部已经实现了锁机制，你不需要自己加锁。

先看一个最基础的例子：

import queue
import threading
import time
import random

# 创建一个队列，maxsize=10表示最多放10个元素