從文法上來看,協程和生成器類似,都是定義體中包含yield關鍵字的函數。
yield在協程中的用法:
- 在協程中yield通常出現在表達式的右邊,例如:datum = yield,可以産出值,也可以不産出--如果yield關鍵字後面沒有表達式,那麼生成器産出None.
- 協程可能從調用方接受資料,調用方是通過send(datum)的方式把資料提供給協程使用,而不是next(...)函數,通常調用方會把值推送給協程。
- 協程可以把控制器讓給中心排程程式,進而激活其他的協程
是以總體上在協程中把yield看做是控制流程的方式。
了解協程的過程
先通過一個簡單的協程的例子了解:
對上述例子的分析:
yield 的右邊沒有表達式,是以這裡預設産出的值是None
剛開始先調用了next(...)是因為這個時候生成器還沒有啟動,沒有停在yield那裡,這個時候也是無法通過send發送資料。是以當我們通過next(...)激活協程後,程式就會運作到x = yield,這裡有個問題我們需要注意,x = yield這個表達式的計算過程是先計算等号右邊的内容,然後在進行指派,是以當激活生成器後,程式會停在yield這裡,但并沒有給x指派。
當我們調用send方法後yield會收到這個值并指派給x,而當程式運作到協程定義體的末尾時和用生成器的時候一樣會抛出StopIteration異常
如果協程沒有通過next(...)激活(同樣我們可以通過send(None)的方式激活),但是我們直接send,會提示如下錯誤:
關于調用next(...)函數這一步通常稱為”預激(prime)“協程,即讓協程向前執行到第一個yield表達式,準備好作為活躍的協程使用
協程在運作過程中有四個狀态:
- GEN_CREATE:等待開始執行
- GEN_RUNNING:解釋器正在執行,這個狀态一般看不到
- GEN_SUSPENDED:在yield表達式處暫停
- GEN_CLOSED:執行結束
通過下面例子來檢視協程的狀态:
接着再通過一個計算平均值的例子來繼續了解:
這裡是一個死循環,隻要不停send值給協程,可以一直計算下去。
通過上面的幾個例子我們發現,我們如果想要開始使用協程的時候必須通過next(...)方式激活協程,如果不預激,這個協程就無法使用,如果哪天在代碼中遺忘了那麼就出問題了,是以有一種預激協程的裝飾器,可以幫助我們幹這件事
預激協程的裝飾器
下面是預激裝飾器的示範例子:
1 from functools import wraps
2
3
4 def coroutine(func):
5 @wraps(func)
6 def primer(*args,**kwargs):
7 gen = func(*args,**kwargs)
8 next(gen)
9 return gen
10 return primer
11
12
13 @coroutine
14 def averager():
15 total = 0.0
16 count = 0
17 average = None
18 while True:
19 term = yield average
20 total += term
21 count += 1
22 average = total/count
23
24
25 coro_avg = averager()
26 from inspect import getgeneratorstate
27 print(getgeneratorstate(coro_avg))
28 print(coro_avg.send(10))
29 print(coro_avg.send(30))
30 print(coro_avg.send(5))
關于預激,在使用yield from句法調用協程的時候,會自動預激活,這樣其實與我們上面定義的coroutine裝飾器是不相容的,在python3.4裡面的asyncio.coroutine裝飾器不會預激協程,是以相容yield from
終止協程和異常處理
協程中為處理的異常會向上冒泡,傳給next函數或send函數的調用方(即觸發協程的對象)
拿上面的代碼舉例子,如果我們發送了一個字元串而不是一個整數的時候就會報錯,并且這個時候協程是被終止了
從python2.5開始用戶端代碼在生成器對象上調用兩個方法,顯示的把異常發送給協程
分别為:throw和close
generator.throw:會讓生成器在暫停的yield表達式處抛出指定的異常,如果生成器處理了抛出的異常,代碼會向前執行到下一個yield表達式,而産出的值會成為調用generator.throw方法代碼的傳回值。如果生成器沒有處理抛出的異常,異常會向上冒泡,傳到調用方的上下文中。
generator.close:會讓生成器在暫停的yield表達式處抛出GeneratorExit異常。如果生成器沒有處理這個異常,或者抛出了StopIteration異常,調用方不會報錯,如果收到GeneratorExit異常,生成器一定不能産出值,否則解釋器會抛出RuntimeError異常。生成器抛出的異常會向上冒泡,傳給調用方。
下面是一個例子:
當傳入我們定義的異常時不會影響協程,協程不會停止,可以繼續send,但是如果是沒有處理的異常的時候,就會報錯,并且協程會被終止
讓協程傳回值
通過下面的例子進行示範如何擷取協程的傳回值:
1 from collections import namedtuple
2
3
4 Result = namedtuple("Result","colunt average")
5
6
7 def averager():
8 total = 0.0
9 count = 0
10 average = None
11 while True:
12 term = yield
13 if term is None:
14 break
15 total += term
16 count+=1
17 average = total/count
18 return Result(count,average)
19
20 coro_avg = averager()
21 next(coro_avg)
22 coro_avg.send(10)
23 coro_avg.send(30)
24 coro_avg.send(5)
25 try:
26 coro_avg.send(None)
27 except StopIteration as e:
28 result = e.value
29 print(result)
這樣就可以擷取到最後的結果:
其實相對來說上面這種方式擷取傳回值比較麻煩,而yield from 結構會自動捕獲StopIteration異常,這種處理方式與for循環處理StopIteration異常的方式一樣,循環機制使我們更容易了解處理異常,對于yield from來說,解釋器不僅會捕獲StopIteration異常,還會把value屬性的值變成yield from表達式的值
關于yield from
在生成器gen中使用yield from subgen()時,subgen會獲得控制權,把産出的值傳給gen的調用方,即調用方可以直接控制subgen,同時,gen會阻塞,等待subgen終止
yield from x表達式對x對象所做的第一件事是,調用iter(x),從中擷取疊代器,是以x可以是任何可疊代的對象
下面是yield from可以簡化yield表達式的例子:
1 def gen():
2 for c in "AB":
3 yield c
4 for i in range(1,3):
5 yield i
6
7 print(list(gen()))
8
9 def gen2():
10 yield from "AB"
11 yield from range(1,3)
12
13 print(list(gen2()))
這兩種的方式的結果是一樣的,但是這樣看來yield from更加簡潔,但是yield from的作用可不僅僅是替代産出值的嵌套for循環。
yield from的主要功能是打開雙向通道,把最外層的調用方與最内層的子生成器連接配接起來,這樣二者可以直接發送和産出值,還可以直接傳入異常,而不用再像之前那樣在位于中間的協程中添加大量處理異常的代碼
通過yield from還可以連結可疊代對象
委派生成器在yield from 表達式處暫停時,調用方可以直接把資料發給子生成器,子生成器再把産出産出值發給調用方,子生成器傳回之後,解釋器會抛出StopIteration異常,并把傳回值附加到異常對象上,此時委派生成器會恢複。
下面是一個完整的例子代碼
1 from collections import namedtuple
2
3
4 Result = namedtuple('Result', 'count average')
5
6
7 # 子生成器
8 def averager():
9 total = 0.0
10 count = 0
11 average = None
12 while True:
13 term = yield
14 if term is None:
15 break
16 total += term
17 count += 1
18 average = total/count
19 return Result(count, average)
20
21
22 # 委派生成器
23 def grouper(result, key):
24 while True:
25 result[key] = yield from averager()
26
27
28 # 用戶端代碼,即調用方
29 def main(data):
30 results = {}
31 for key,values in data.items():
32 group = grouper(results,key)
33 next(group)
34 for value in values:
35 group.send(value)
36 group.send(None) #這裡表示要終止了
37
38 report(results)
39
40
41 # 輸出報告
42 def report(results):
43 for key, result in sorted(results.items()):
44 group, unit = key.split(';')
45 print('{:2} {:5} averaging {:.2f}{}'.format(
46 result.count, group, result.average, unit
47 ))
48
49 data = {
50 'girls;kg':
51 [40.9, 38.5, 44.3, 42.2, 45.2, 41.7, 44.5, 38.0, 40.6, 44.5],
52 'girls;m':
53 [1.6, 1.51, 1.4, 1.3, 1.41, 1.39, 1.33, 1.46, 1.45, 1.43],
54 'boys;kg':
55 [39.0, 40.8, 43.2, 40.8, 43.1, 38.6, 41.4, 40.6, 36.3],
56 'boys;m':
57 [1.38, 1.5, 1.32, 1.25, 1.37, 1.48, 1.25, 1.49, 1.46],
58 }
59
60
61 if __name__ == '__main__':
62 main(data)
關于上述代碼着重解釋一下關于委派生成器部分,這裡的循環每次疊代時會建立一個averager執行個體,每個執行個體都是作為協程使用的生成器對象。
grouper發送的每個值都會經由yield from處理,通過管道傳給averager執行個體。grouper會在yield from表達式處暫停,等待averager執行個體處理用戶端發來的值。averager執行個體運作完畢後,傳回的值會綁定到results[key]上,while 循環會不斷建立averager執行個體,處理更多的值
并且上述代碼中的子生成器可以使用return 傳回一個值,而傳回的值會成為yield from表達式的值。
關于yield from的意義
關于yield from 六點重要的說明:
- 子生成器産出的值都直接傳給委派生成器的調用方(即用戶端代碼)
- 使用send()方法發送給委派生成器的值都直接傳給子生成器。如果發送的值為None,那麼會給委派調用子生成器的__next__()方法。如果發送的值不是None,那麼會調用子生成器的send方法,如果調用的方法抛出StopIteration異常,那麼委派生成器恢複運作,任何其他異常都會向上冒泡,傳給委派生成器
- 生成器退出時,生成器(或子生成器)中的return expr表達式會出發StopIteration(expr)異常抛出
- yield from表達式的值是子生成器終止時傳給StopIteration異常的第一個參數。yield from 結構的另外兩個特性與異常和終止有關。