Python - 多任务:协程
-
-
-
- 并行 and 并发
- 协程
- yield 实现
- greenlet 实现
- gevent 实现
-
-
-
并行 and 并发
在多任务中,存在两个概念:并发与并行。
其中并发是假的多任务:在一个时间段中有多个程序都处于运行状态,且这几个程序是在同一个处理机上运行的,但任一个时刻点上实际只有一个程序在处理机上运行。在宏观上是同时进行,但微观上仍是顺序执行,所以称之为假的多任务。
而并行则是真的多任务:多个程序同时在多个处理机上运行,宏观上同时进行,在微观上仍然是同时进行的,所以是真的多任务
对于之前讲过的多线程,根据具体运行环境的不同,它所属情况也不同。例如在 Java 中多线程就是真的多任务,是并行计算,而在 Python 中,由于全局解释器锁的存在(GIL,Global Interpreter Lock),使得在同一进程内任何时刻仅有一个线程在执行,所以运行中是假的多任务。
-
协程
Python 中的协程仍然是假的多任务,本质是调用多个生成器的__next__()
方法,达到多个生成器交替运行的效果。
协程运行于单线程中,任务调度(切换执行任务)都相当于调用函数,所以耗费的资源非常的少。(多进程最耗费资源,多线程次之,协程最少)
下面看一下协程的实现方式。
-
yield 实现
实际上通过调用
实现协程,使得多个函数交替进行。__next__()
def task_1(): while True: print("1") yield def task_2(): while True: print("2") yield def main(): t1 = task_1() t2 = task_2() while True: next(t1) next(t2) main()
-
greenlet 实现
import greenlet def task_1(): while True: print("1") # 手动切换到 task_2 g2.switch() def task_2(): while True: print("2") # 手动切换到 task_1 g1.switch() g1 = greenlet(task_1) g2 = greenlet(task_2)
-
gevent 实现
from gevent import monkey
import gevent
# 协程 gevent 在延时(或执行耗时操作、阻塞)的时候会自动切换任务
# 协程就是利用 IO 等待时间执行其他任务
# 方法内部使用 gevent.sleep() 进行延时操作,但手动添加 sleep 不现实,
# 所以使用 monkey.patch_all() 自动将所有等待操作替换成 gevent.sleep()
monkey.patch_all()
def task_1():
while True:
print("1")
# 手动切换到 task_2
g2.switch()
def task_2():
while True:
print("2")
# 手动切换到 task_1
g1.switch()
g1 = gevent.spawn(task_1)
g2 = gevent.spawn(task_2)
# 或者 gevent.joinall([g1, g2])
g1.join()
g2.join()