1. Queue的使用
可以使用multiprocessing子產品的Queue實作多程序之間的資料傳遞,Queue本身是一個消息列隊程式,首先用一個小執行個體來示範一下Queue的工作原理:
#coding=utf-8
from multiprocessing import Queue
q=Queue(3) #初始化一個Queue對象,最多可接收三條put消息
q.put("消息1")
q.put("消息2")
print(q.full()) #False
q.put("消息3")
print(q.full()) #True
#因為消息列隊已滿下面的try都會抛出異常,第一個try會等待2秒後再抛出異常,第二個Try會立刻抛出異常
try:
q.put("消息4",True,2)
except:
print("消息列隊已滿,現有消息數量:%s"%q.qsize())
try:
q.put_nowait("消息4")
except:
print("消息列隊已滿,現有消息數量:%s"%q.qsize())
#推薦的方式,先判斷消息列隊是否已滿,再寫入
if not q.full():
q.put_nowait("消息4")
#讀取消息時,先判斷消息列隊是否為空,再讀取
if not q.empty():
for i in range(q.qsize()):
print(q.get_nowait())
運作結果:
初始化Queue()對象時(例如:q=Queue()),若括号中沒有指定最大可接收的消息數量,或數量為負值,那麼就代表可接受的消息數量沒有上限(直到記憶體的盡頭);
-
Queue.qsize():傳回目前隊列包含的消息數量;
-
Queue.empty():如果隊列為空,傳回True,反之False ,這個不是很準,不可靠。
-
Queue.full():如果隊列滿了,傳回True,反之False;
-
Queue.get([block[, timeout]]):擷取隊列中的一條消息,然後将其從列隊中移除,block預設值為True;
1)如果block使用預設值,且沒有設定timeout(機關秒),消息列隊如果為空,此時程式将被阻塞(停在讀取狀态),直到從消息列隊讀到消息為止,如果設定了timeout,則會等待timeout秒,若還沒讀取到任何消息,則抛出"Queue.Empty"異常;
2)如果block值為False,消息列隊如果為空,則會立刻抛出"Queue.Empty"異常;
-
Queue.get_nowait():相當Queue.get(False);
-
Queue.put(item,[block[, timeout]]):将item消息寫入隊列,block預設值為True;
1)如果block使用預設值,且沒有設定timeout(機關秒),消息列隊如果已經沒有空間可寫入,此時程式将被阻塞(停在寫入狀态),直到從消息列隊騰出空間為止,如果設定了timeout,則會等待timeout秒,若還沒空間,則抛出"Queue.Full"異常;
2)如果block值為False,消息列隊如果沒有空間可寫入,則會立刻抛出"Queue.Full"異常;
-
Queue.put_nowait(item):相當Queue.put(item, False);
2. Queue執行個體
我們以Queue為例,在父程序中建立兩個子程序,一個往Queue裡寫資料,一個從Queue裡讀資料:
from multiprocessing import Process, Queue
import os, time, random
# 寫資料程序執行的代碼:
def write(q):
for value in ['A', 'B', 'C']:
print('Put %s to queue...' % value)
q.put(value)
time.sleep(random.random())
# 讀資料程序執行的代碼:
def read(q):
while True:
if not q.empty():
value = q.get(True)
print('Get %s from queue.' % value)
time.sleep(random.random())
else:
break
if __name__=='__main__':
# 父程序建立Queue,并傳給各個子程序:
q = Queue()
pw = Process(target=write, args=(q,))
pr = Process(target=read, args=(q,))
# 啟動子程序pw,寫入:
pw.start()
# 等待pw結束:
pw.join()
# 啟動子程序pr,讀取:
pr.start()
pr.join()
# pr程序裡是死循環,無法等待其結束,隻能強行終止:
print('')
print('所有資料都寫入并且讀完')
運作結果: