天天看点

Python - 多任务:协程

Python - 多任务:协程

        • 并行 and 并发
        • 协程
        • yield 实现
        • greenlet 实现
        • gevent 实现
  • 并行 and 并发

    在多任务中,存在两个概念:并发与并行。

    其中并发是假的多任务:在一个时间段中有多个程序都处于运行状态,且这几个程序是在同一个处理机上运行的,但任一个时刻点上实际只有一个程序在处理机上运行。在宏观上是同时进行,但微观上仍是顺序执行,所以称之为假的多任务。

    而并行则是真的多任务:多个程序同时在多个处理机上运行,宏观上同时进行,在微观上仍然是同时进行的,所以是真的多任务

    对于之前讲过的多线程,根据具体运行环境的不同,它所属情况也不同。例如在 Java 中多线程就是真的多任务,是并行计算,而在 Python 中,由于全局解释器锁的存在(GIL,Global Interpreter Lock),使得在同一进程内任何时刻仅有一个线程在执行,所以运行中是假的多任务。

  • 协程

    Python 中的协程仍然是假的多任务,本质是调用多个生成器的

    __next__()

    方法,达到多个生成器交替运行的效果。

    协程运行于单线程中,任务调度(切换执行任务)都相当于调用函数,所以耗费的资源非常的少。(多进程最耗费资源,多线程次之,协程最少)

    下面看一下协程的实现方式。

  • yield 实现

    实际上通过调用

    __next__()

    实现协程,使得多个函数交替进行。
    def task_1():
        while True:
            print("1")
            yield
    
    
    def task_2():
        while True:
            print("2")
            yield
    
    
    def main():
        t1 = task_1()
        t2 = task_2()
        while True:
            next(t1)
            next(t2)
    
    main()
               
  • greenlet 实现

    import greenlet
    
    def task_1():
        while True:
            print("1")
            # 手动切换到 task_2
            g2.switch()
    
    
    def task_2():
        while True:
            print("2")
            # 手动切换到 task_1
            g1.switch()
    
    g1 = greenlet(task_1)
    g2 = greenlet(task_2)
               
  • gevent 实现

from gevent import monkey
	import gevent

    # 协程 gevent 在延时(或执行耗时操作、阻塞)的时候会自动切换任务
    # 协程就是利用 IO 等待时间执行其他任务
    # 方法内部使用 gevent.sleep() 进行延时操作,但手动添加 sleep 不现实,
    # 所以使用 monkey.patch_all() 自动将所有等待操作替换成 gevent.sleep()
	monkey.patch_all()

	def task_1():
	    while True:
	        print("1")
	        # 手动切换到 task_2
	        g2.switch()
	
	def task_2():
	    while True:
	        print("2")
	        # 手动切换到 task_1
	        g1.switch()

	g1 = gevent.spawn(task_1)
	g2 = gevent.spawn(task_2)
	
	# 或者 gevent.joinall([g1, g2])
    g1.join()
    g2.join()