Python 中如何快速实现一个线程池？最全（2）

使用 map 来提交多个函数

使用 submit 提交函数会返回一个 future，并且还可以给 future 绑定一个回调。但如果不关心回调的话，那么还可以使用 map 进行提交。

可以看到，当使用for循环的时候，map 执行的逻辑和 submit 是一样的。唯一的区别是，此时不需要再调用 result 了，因为返回的就是函数的返回值。

或者我们直接调用 list 也行。

 results 是一个生成器，调用 list 的时候会将里面的值全部产出。由于 map 内部还是使用的 submit，然后通过 future.result() 拿到返回值，而耗时最长的函数需要 3 秒，因此这一步会阻塞 3 秒。3 秒过后，会打印所有函数的返回值。

按照顺序等待执行

上面在获取返回值的时候，是按照函数的提交顺序获取的。如果我希望哪个函数先执行完毕，就先获取哪个函数的返回值，该怎么做呢？

 此时谁先完成，谁先返回。

取消一个函数的执行

我们通过 submit 可以将函数提交到线程池中执行，但如果我们想取消该怎么办呢？

问题来了，调用 cancelled 方法的时候，返回的是False，这是为什么？很简单，因为函数已经被提交到线程池里面了，函数已经运行了。而只有在还没有运行时，取消才会成功。

可这不矛盾了吗？函数一旦提交就会运行，只有不运行才会取消成功，这怎么办？还记得线程池的一个叫做 max_workers 的参数吗？用来控制线程池内的线程数量，我们可以将最大的线程数设置为2，那么当第三个函数进去的时候，就不会执行了，而是处于暂停状态。

在启动线程池的时候，肯定是需要设置容量的，不然处理几千个函数要开启几千个线程吗。另外当函数被取消了，就不可以再调用 future.result() 了，否则的话会抛出 CancelledError。

函数执行时出现异常

我们前面的逻辑都是函数正常执行的前提下，但天有不测风云，如果函数执行时出现异常了该怎么办？

 出现异常时，调用 future.set_exception 将异常设置到 future 里面，而 future 有一个 _exception 属性，专门保存设置的异常。当调用 future.exception() 时，也会直接返回 _exception 属性的值。

等待所有函数执行完毕

假设我们往线程池提交了很多个函数，如果希望提交的函数都执行完毕之后，主程序才能往下执行，该怎么办呢？其实方案有很多：

第一种：

 第二种：

 第三种：

 第四种：

小结

如果我们需要启动多线程来执行函数的话，那么不妨使用线程池。每调用一个函数就从池子里面取出一个线程，函数执行完毕就将线程放回到池子里以便其它函数执行。如果池子里面空了，或者说无法创建新的空闲线程，那么接下来的函数就只能处于等待状态了。

最后，concurrent.futures 不仅可以用于实现线程池，还可以用于实现进程池。两者的 API 是一样的：

线程池和进程池的 API 是一致的，但工作中很少会创建进程池。

Python全网最热资料包【华清远见发放资料包】http://makerschool.mikecrm.com/6cvAGKm

python入门

Python的封装

Python网络编程

python高级用法

Python爬虫开发

python 人工智能-神经网络

django项目案例精讲

云计算 大数据和人工智能

快速学习爬虫基础

爬虫数据提取