天天看點

python線程_Python線程指南

本文介紹了Python對于線程的支援,包括“學會”多線程程式設計需要掌握的基礎以及Python兩個線程标準庫的完整介紹及使用示例。

注意:本文基于Python2.4完成,;如果看到不明白的詞彙請記得百度谷歌或維基,whatever。

尊重作者的勞動,轉載請注明作者及原文位址 >.<

1. 線程基礎

1.1. 線程狀态

線程有5種狀态,狀态轉換的過程如下圖所示:

python線程_Python線程指南

1.2. 線程同步(鎖)

多線程的優勢在于可以同時運作多個任務(至少感覺起來是這樣)。但是當線程需要共享資料時,可能存在資料不同步的問題。考慮這樣一種情況:一個清單裡所有元素都是0,線程"set"從後向前把所有元素改成1,而線程"print"負責從前往後讀取清單并列印。那麼,可能線程"set"開始改的時候,線程"print"便來列印清單了,輸出就成了一半0一半1,這就是資料的不同步。為了避免這種情況,引入了鎖的概念。

鎖有兩種狀态——鎖定和未鎖定。每當一個線程比如"set"要通路共享資料時,必須先獲得鎖定;如果已經有别的線程比如"print"獲得鎖定了,那麼就讓線程"set"暫停,也就是同步阻塞;等到線程"print"通路完畢,釋放鎖以後,再讓線程"set"繼續。經過這樣的處理,列印清單時要麼全部輸出0,要麼全部輸出1,不會再出現一半0一半1的尴尬場面。

線程與鎖的互動如下圖所示:

python線程_Python線程指南

1.3. 線程通信(條件變量)

然而還有另外一種尴尬的情況:清單并不是一開始就有的;而是通過線程"create"建立的。如果"set"或者"print" 在"create"還沒有運作的時候就通路清單,将會出現一個異常。使用鎖可以解決這個問題,但是"set"和"print"将需要一個無限循環——他們不知道"create"什麼時候會運作,讓"create"在運作後通知"set"和"print"顯然是一個更好的解決方案。于是,引入了條件變量。

條件變量允許線程比如"set"和"print"在條件不滿足的時候(清單為None時)等待,等到條件滿足的時候(清單已經建立)發出一個通知,告訴"set" 和"print"條件已經有了,你們該起床幹活了;然後"set"和"print"才繼續運作。

線程與條件變量的互動如下圖所示:

python線程_Python線程指南
python線程_Python線程指南

1.4. 線程運作和阻塞的狀态轉換

最後看看線程運作和阻塞狀态的轉換。

python線程_Python線程指南

阻塞有三種情況:

同步阻塞是指處于競争鎖定的狀态,線程請求鎖定時将進入這個狀态,一旦成功獲得鎖定又恢複到運作狀态;

等待阻塞是指等待其他線程通知的狀态,線程獲得條件鎖定後,調用“等待”将進入這個狀态,一旦其他線程發出通知,線程将進入同步阻塞狀态,再次競争條件鎖定;

而其他阻塞是指調用time.sleep()、anotherthread.join()或等待IO時的阻塞,這個狀态下線程不會釋放已獲得的鎖定。

tips: 如果能了解這些内容,接下來的主題将是非常輕松的;并且,這些内容在大部分流行的程式設計語言裡都是一樣的。(意思就是非看懂不可 >_< 嫌作者水準低找别人的教程也要看懂)

2. thread

Python通過兩個标準庫thread和threading提供對線程的支援。thread提供了低級别的、原始的線程以及一個簡單的鎖。 # encoding: UTF-8

import thread

import time

# 一個用于線上程中執行的函數

def func():

for i in range(5):

print 'func'

time.sleep(1)

# 結束目前線程

# 這個方法與thread.exit_thread()等價

thread.exit() # 當func傳回時,線程同樣會結束

# 啟動一個線程,線程立即開始運作

# 這個方法與thread.start_new_thread()等價

# 第一個參數是方法,第二個參數是方法的參數

thread.start_new(func, ()) # 方法沒有參數時需要傳入空tuple

# 建立一個鎖(LockType,不能直接執行個體化)

# 這個方法與thread.allocate_lock()等價

lock = thread.allocate()

# 判斷鎖是鎖定狀态還是釋放狀态

print lock.locked()

# 鎖通常用于控制對共享資源的通路

count = 0

# 獲得鎖,成功獲得鎖定後傳回True

# 可選的timeout參數不填時将一直阻塞直到獲得鎖定

# 否則逾時後将傳回False

if lock.acquire():

count += 1

# 釋放鎖

lock.release()

# thread子產品提供的線程都将在主線程結束後同時結束

time.sleep(6)

thread 子產品提供的其他方法:thread.interrupt_main(): 在其他線程中終止主線程。

thread.get_ident(): 獲得一個代表目前線程的魔法數字,常用于從一個字典中獲得線程相關的資料。這個數字本身沒有任何含義,并且當線程結束後會被新線程複用。

thread還提供了一個ThreadLocal類用于管理線程相關的資料,名為 thread._local,threading中引用了這個類。

由于thread提供的線程功能不多,無法在主線程結束後繼續運作,不提供條件變量等等原因,一般不使用thread子產品,這裡就不多介紹了。

3. threading

threading基于Java的線程模型設計。鎖(Lock)和條件變量(Condition)在Java中是對象的基本行為(每一個對象都自帶了鎖和條件變量),而在Python中則是獨立的對象。Python Thread提供了Java Thread的行為的子集;沒有優先級、線程組,線程也不能被停止、暫停、恢複、中斷。Java Thread中的部分被Python實作了的靜态方法在threading中以子產品方法的形式提供。

threading 子產品提供的常用方法:

threading.currentThread(): 傳回目前的線程變量。

threading.enumerate(): 傳回一個包含正在運作的線程的list。正在運作指線程啟動後、結束前,不包括啟動前和終止後的線程。

threading.activeCount(): 傳回正在運作的線程數量,與len(threading.enumerate())有相同的結果。

threading子產品提供的類:Thread, Lock, Rlock, Condition, [Bounded]Semaphore, Event, Timer, local.

3.1. Thread

Thread是線程類,與Java類似,有兩種使用方法,直接傳入要運作的方法或從Thread繼承并覆寫run():

# encoding: UTF-8

import threading

# 方法1:将要執行的方法作為參數傳給Thread的構造方法

def func():

print 'func() passed to Thread'

t = threading.Thread(target=func)

t.start()

# 方法2:從Thread繼承,并重寫run()

class MyThread(threading.Thread):

def run(self):

print 'MyThread extended from Thread'

t = MyThread()

t.start()

構造方法:Thread(group=None, target=None, name=None, args=(), kwargs={})

group: 線程組,目前還沒有實作,庫引用中提示必須是None;

target: 要執行的方法;

name: 線程名;

args/kwargs: 要傳入方法的參數。

執行個體方法:isAlive(): 傳回線程是否在運作。正在運作指啟動後、終止前。

get/setName(name): 擷取/設定線程名。

is/setDaemon(bool): 擷取/設定是否守護線程。初始值從建立該線程的線程繼承。當沒有非守護線程仍在運作時,程式将終止。

start(): 啟動線程。

join([timeout]): 阻塞目前上下文環境的線程,直到調用此方法的線程終止或到達指定的timeout(可選參數)。

一個使用join()的例子:

# encoding: UTF-8

import threading

import time

def context(tJoin):

print 'in threadContext.'

tJoin.start()

# 将阻塞tContext直到threadJoin終止。

tJoin.join()

# tJoin終止後繼續執行。

print 'out threadContext.'

def join():

print 'in threadJoin.'

time.sleep(1)

print 'out threadJoin.'

tJoin = threading.Thread(target=join)

tContext = threading.Thread(target=context, args=(tJoin,))

tContext.start()

運作結果:

in threadContext.

in threadJoin.

out threadJoin.

out threadContext.

3.2. Lock

Lock(指令鎖)是可用的最低級的同步指令。Lock處于鎖定狀态時,不被特定的線程擁有。Lock包含兩種狀态——鎖定和非鎖定,以及兩個基本的方法。

可以認為Lock有一個鎖定池,當線程請求鎖定時,将線程至于池中,直到獲得鎖定後出池。池中的線程處于狀态圖中的同步阻塞狀态。

構造方法:Lock()

執行個體方法:acquire([timeout]): 使線程進入同步阻塞狀态,嘗試獲得鎖定。

release(): 釋放鎖。使用前線程必須已獲得鎖定,否則将抛出異常。

# encoding: UTF-8

import threading

import time

data = 0

lock = threading.Lock()

def func():

global data

print '%s acquire lock...' % threading.currentThread().getName()

# 調用acquire([timeout])時,線程将一直阻塞,

# 直到獲得鎖定或者直到timeout秒後(timeout參數可選)。

# 傳回是否獲得鎖。

if lock.acquire():

print '%s get the lock.' % threading.currentThread().getName()

data += 1

time.sleep(2)

print '%s release lock...' % threading.currentThread().getName()

# 調用release()将釋放鎖。

lock.release()

t1 = threading.Thread(target=func)

t2 = threading.Thread(target=func)

t3 = threading.Thread(target=func)

t1.start()

t2.start()

t3.start()

3.3. RLock

RLock(可重入鎖)是一個可以被同一個線程請求多次的同步指令。RLock使用了“擁有的線程”和“遞歸等級”的概念,處于鎖定狀态時,RLock被某個線程擁有。擁有RLock的線程可以再次調用acquire(),釋放鎖時需要調用release()相同次數。

可以認為RLock包含一個鎖定池和一個初始值為0的計數器,每次成功調用 acquire()/release(),計數器将+1/-1,為0時鎖處于未鎖定狀态。

構造方法:RLock()

執行個體方法:acquire([timeout])/release(): 跟Lock差不多。

# encoding: UTF-8

import threading

import time

rlock = threading.RLock()

def func():

# 第一次請求鎖定

print '%s acquire lock...' % threading.currentThread().getName()

if rlock.acquire():

print '%s get the lock.' % threading.currentThread().getName()

time.sleep(2)

# 第二次請求鎖定

print '%s acquire lock again...' % threading.currentThread().getName()

if rlock.acquire():

print '%s get the lock.' % threading.currentThread().getName()

time.sleep(2)

# 第一次釋放鎖

print '%s release lock...' % threading.currentThread().getName()

rlock.release()

time.sleep(2)

# 第二次釋放鎖

print '%s release lock...' % threading.currentThread().getName()

rlock.release()

t1 = threading.Thread(target=func)

t2 = threading.Thread(target=func)

t3 = threading.Thread(target=func)

t1.start()

t2.start()

t3.start()

3.4. Condition

Condition(條件變量)通常與一個鎖關聯。需要在多個Contidion中共享一個鎖時,可以傳遞一個Lock/RLock執行個體給構造方法,否則它将自己生成一個RLock執行個體。

可以認為,除了Lock帶有的鎖定池外,Condition還包含一個等待池,池中的線程處于狀态圖中的等待阻塞狀态,直到另一個線程調用notify()/notifyAll()通知;得到通知後線程進入鎖定池等待鎖定。

構造方法:Condition([lock/rlock])

執行個體方法:acquire([timeout])/release(): 調用關聯的鎖的相應方法。

wait([timeout]): 調用這個方法将使線程進入Condition的等待池等待通知,并釋放鎖。使用前線程必須已獲得鎖定,否則将抛出異常。

notify(): 調用這個方法将從等待池挑選一個線程并通知,收到通知的線程将自動調用acquire()嘗試獲得鎖定(進入鎖定池);其他線程仍然在等待池中。調用這個方法不會釋放鎖定。使用前線程必須已獲得鎖定,否則将抛出異常。

notifyAll(): 調用這個方法将通知等待池中所有的線程,這些線程都将進入鎖定池嘗試獲得鎖定。調用這個方法不會釋放鎖定。使用前線程必須已獲得鎖定,否則将抛出異常。

例子是很常見的生産者/消費者模式:

# encoding: UTF-8

import threading

import time

# 商品

product = None

# 條件變量

con = threading.Condition()

# 生産者方法

def produce():

global product

if con.acquire():

while True:

if product is None:

print 'produce...'

product = 'anything'

# 通知消費者,商品已經生産

con.notify()

# 等待通知

con.wait()

time.sleep(2)

# 消費者方法

def consume():

global product

if con.acquire():

while True:

if product is not None:

print 'consume...'

product = None

# 通知生産者,商品已經沒了

con.notify()

# 等待通知

con.wait()

time.sleep(2)

t1 = threading.Thread(target=produce)

t2 = threading.Thread(target=consume)

t2.start()

t1.start()

3.5. Semaphore/BoundedSemaphore

Semaphore(信号量)是計算機科學史上最古老的同步指令之一。Semaphore管理一個内置的計數器,每當調用acquire()時-1,調用release() 時+1。計數器不能小于0;當計數器為0時,acquire()将阻塞線程至同步鎖定狀态,直到其他線程調用release()。

基于這個特點,Semaphore經常用來同步一些有“訪客上限”的對象,比如連接配接池。

BoundedSemaphore 與Semaphore的唯一差別在于前者将在調用release()時檢查計數器的值是否超過了計數器的初始值,如果超過了将抛出一個異常。

構造方法:

Semaphore(value=1): value是計數器的初始值。

執行個體方法:acquire([timeout]): 請求Semaphore。如果計數器為0,将阻塞線程至同步阻塞狀态;否則将計數器-1并立即傳回。

release(): 釋放Semaphore,将計數器+1,如果使用BoundedSemaphore,還将進行釋放次數檢查。release()方法不檢查線程是否已獲得 Semaphore。

# encoding: UTF-8

import threading

import time

# 計數器初值為2

semaphore = threading.Semaphore(2)

def func():

# 請求Semaphore,成功後計數器-1;計數器為0時阻塞

print '%s acquire semaphore...' % threading.currentThread().getName()

if semaphore.acquire():

print '%s get semaphore' % threading.currentThread().getName()

time.sleep(4)

# 釋放Semaphore,計數器+1

print '%s release semaphore' % threading.currentThread().getName()

semaphore.release()

t1 = threading.Thread(target=func)

t2 = threading.Thread(target=func)

t3 = threading.Thread(target=func)

t4 = threading.Thread(target=func)

t1.start()

t2.start()

t3.start()

t4.start()

time.sleep(2)

# 沒有獲得semaphore的主線程也可以調用release

# 若使用BoundedSemaphore,t4釋放semaphore時将抛出異常

print 'MainThread release semaphore without acquire'

semaphore.release()

3.6. Event

Event(事件)是最簡單的線程通信機制之一:一個線程通知事件,其他線程等待事件。Event内置了一個初始為False的标志,當調用set()時設為True,調用clear()時重置為 False。wait()将阻塞線程至等待阻塞狀态。

Event其實就是一個簡化版的 Condition。Event沒有鎖,無法使線程進入同步阻塞狀态。

構造方法:Event()

執行個體方法:isSet(): 當内置标志為True時傳回True。

set(): 将标志設為True,并通知所有處于等待阻塞狀态的線程恢複運作狀态。

clear(): 将标志設為False。

wait([timeout]): 如果标志為True将立即傳回,否則阻塞線程至等待阻塞狀态,等待其他線程調用set()。

# encoding: UTF-8

import threading

import time

event = threading.Event()

def func():

# 等待事件,進入等待阻塞狀态

print '%s wait for event...' % threading.currentThread().getName()

event.wait()

# 收到事件後進入運作狀态

print '%s recv event.' % threading.currentThread().getName()

t1 = threading.Thread(target=func)

t2 = threading.Thread(target=func)

t1.start()

t2.start()

time.sleep(2)

# 發送事件通知

print 'MainThread set event.'

event.set()

3.7. Timer

Timer(定時器)是Thread的派生類,用于在指定時間後調用一個方法。

構造方法:Timer(interval, function, args=[], kwargs={})

interval: 指定的時間

function: 要執行的方法

args/kwargs: 方法的參數

執行個體方法:Timer從Thread派生,沒有增加執行個體方法。

# encoding: UTF-8

import threading

def func():

print 'hello timer!'

timer = threading.Timer(5, func)

timer.start()

3.8. local

local是一個小寫字母開頭的類,用于管理 thread-local(線程局部的)資料。對于同一個local,線程無法通路其他線程設定的屬性;線程設定的屬性不會被其他線程設定的同名屬性替換。

可以把local看成是一個“線程-屬性字典”的字典,local封裝了從自身使用線程作為 key檢索對應的屬性字典、再使用屬性名作為key檢索屬性值的細節。

# encoding: UTF-8

import threading

local = threading.local()

local.tname = 'main'

def func():

local.tname = 'notmain'

print local.tname

t1 = threading.Thread(target=func)

t1.start()

t1.join()

print local.tname

熟練掌握Thread、Lock、Condition就可以應對絕大多數需要使用線程的場合,某些情況下local也是非常有用的東西。本文的最後使用這幾個類展示線程基礎中提到的場景:

# encoding: UTF-8

import threading

alist = None

condition = threading.Condition()

def doSet():

if condition.acquire():

while alist is None:

condition.wait()

for i in range(len(alist))[::-1]:

alist[i] = 1

condition.release()

def doPrint():

if condition.acquire():

while alist is None:

condition.wait()

for i in alist:

print i,

print

condition.release()

def doCreate():

global alist

if condition.acquire():

if alist is None:

alist = [0 for i in range(10)]

condition.notifyAll()

condition.release()

tset = threading.Thread(target=doSet,name='tset')

tprint = threading.Thread(target=doPrint,name='tprint')

tcreate = threading.Thread(target=doCreate,name='tcreate')

tset.start()

tprint.start()

tcreate.start()

全文完

繼續閱讀