python 异步编程:协程与 asyncio

本文详细介绍了协程的概念,asyncio的事件循环、异步编程、协程对象、任务和Future的使用,以及实战案例如异步Redis、MySQL操作和FastAPI框架的应用。

一、协程(coroutine)

1.1 协程的概念

**协程也叫“轻量级线程”,是一种用户态中来回切换代码块执行的技术,目的是减少阻塞,提高程序的运行速度。**协程不是计算机提供的功能,而是需要程序员自己实现的,是单个线程内的任务调度技巧。

假设,现在要执行2个函数(不用管谁先完成),这2个函数在运行中各需要3秒阻塞时间去等待网络 IO 的完成:

  • 不使用协程:一个阻塞3秒并执行完成后,另一个才去执行,同样阻塞3秒,总共需要6秒的时间,才能完成两个函数的执行;
  • 使用协程后:先执行的函数,遇到阻塞后,解释器会立马保存阻塞函数的现场数据,并调用另一个函数执行,这样,就相当于同时执行两个函数,总共只需要3秒的时间。大大节省了运行时间,提高了程序的运行效率。

1.2 实现协程的方式

  • greenlet、gevent 等第三方模块;
  • yield 关键字;
  • asyncio 装饰器(python 3.4版本);
  • async、await 关键字(python 3.5及以上版本)【推荐】

二、asyncio 异步编程

2.1 事件循环

事件循环可以理解为一个不断检测并执行代码的死循环,是 python 协程系统的核心。它维护着一个任务队列,在整个程序运行过程中,不断循环执行队列中的任务,一旦发生阻塞就切换任务。

import asyncio    # python 自带

# 获取一个事件循环
loop = asyncio.get_event_loop()
# 将任务放到
loop.run_until_complete(任务)

2.2 快速上手

import asyncio

async def main():   # 定义协程函数
    print('hello')    
    await asyncio.sleep(1)
    print('world')    

asyncio.run(main())    # 运行协程函数
"""
输出:
hello
world
"""

注意!执行协程函数只会得到协程对象,不会立刻执行函数内的代码。

main()
<coroutine object main at 0x1053bb7c8>

2.3 运行协程

要真正运行一个协程,asyncio 提供了三种主要机制:

  • 第一种:用asyncio.run()函数用来运行最高层级的入口点main()函数。 (参见上面的示例)

  • 第二种:使用await关键字”等待“一个协程对象(await后面会详解)。以下代码段会在等待 1 秒后打印 “hello”,然后再次等待 2 秒后打印 “world”:

    import asyncio
    import time
    
    async def say_after(delay, what):
        await asyncio.sleep(delay)   # 这样才会真正执行 sleep 协程函数
        print(what)
    
    async def main():
        print(f"开始:{time.strftime('%X')}")
    
        await say_after(1, 'hello')
        await say_after(2, 'world')
    
        print(f"结束:{time.strftime('%X')}")
    
    asyncio.run(main())
    

    预期的输出:

    开始:17:13:52
    hello
    world
    结束:17:13:55
    
  • 第三种:asyncio.create_task()函数用来并发运行作为 asyncio 任务的多个协程。

    让我们修改以上示例,并发运行两个 say_after 协程:

    async def main():
        task1 = asyncio.create_task(
            say_after(1, 'hello'))
    
        task2 = asyncio.create_task(
            say_after(2, 'world'))
    
        print(f"开始:{time.strftime('%X')}")
    
        # 等带两个任务都完成,大约需要2秒
        await task1
        await task2
    
        print(f"结束:{time.strftime('%X')}")
    

    注意,预期的输出显示代码段的运行时间比之前快了 1 秒:

    started at 17:14:32
    hello
    world
    finished at 17:14:34
    

2.4 await 关键字

await 可等待对象:表示遇到阻塞后,先挂起当前协程(任务),让事件循环去执行其他任务(如果有其他任务的话),等待“可等待对象”执行完成后,再继续执行下面的代码。

import asyncio

async def main():
    print('hello')
    # 会挂起 main 一秒钟,然后打印 world
    # 一般用于后续步骤需要可等待对象完成后才能执行的情况
    await asyncio.sleep(1)
    print('world')    

如果可等待对象有返回值,可以直接保存:result = await 可等待对象

2.5 可等待对象

可等待对象是指可以在await语句中使用的对象,它主要有三种类型:协程、任务和 Future。

2.5.1 协程

在本文中,“协程”可用来表示两个紧密关联的概念:

  • 协程函数:使用async def 函数名定义的函数。

  • 协程对象:调用协程函数得到的对象。

asyncio 也支持旧式的基于生成器(yield 关键字)的协程对象。

2.5.2 任务(Task)

当一个协程被asyncio.create_task()等函数封装成一个任务,该协程就会被自动调度执行

import asyncio

async def nested():
    return 42

async def main():
    # 创建任务,并将 nested 函数添加到事件循环 
    task1 = asyncio.create_task(nested())
    task2 = asyncio.create_task(nested())
    # 可以给任务起一个名称
    # task = asyncio.create_task(nested(), name="t1")

    # 等待 task 结束
    await task1
    await task2

asyncio.run(main()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

花_城

你的鼓励就是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值