史上最清晰的線程池源碼分析
鼎鼎大名的線程池。不需要多說!!!!!
這篇部落格深入分析 Java 中線程池的實作。
總覽
下圖是 java 線程池幾個相關類的繼承結構:
先簡單說說這個繼承結構,Executor 位于最頂層,也是最簡單的,就一個 execute(Runnable runnable) 接口方法定義。
ExecutorService 也是接口,在 Executor 接口的基礎上添加了很多的接口方法,是以一般來說我們會使用這個接口。
然後再下來一層是 AbstractExecutorService,從名字我們就知道,這是抽象類,這裡實作了非常有用的一些方法供子類直接使用,之後我們再細說。
然後才到我們的重點部分 ThreadPoolExecutor 類,這個類提供了關于線程池所需的非常豐富的功能。
線程池中的 BlockingQueue 也是非常重要的概念,如果線程數達到 corePoolSize,我們的每個任務會送出到等待隊列中,等待線程池中的線程來取任務并執行。這裡的 BlockingQueue 通常我們使用其實作類 LinkedBlockingQueue、ArrayBlockingQueue 和 SynchronousQueue,每個實作類都有不同的特征,使用場景之後會慢慢分析。想要詳細了解各個 BlockingQueue 的讀者,可以參考我的前面的一篇對 BlockingQueue 的各個實作類進行詳細分析的文章。
使用示例
1 package main.java.Juc;
2
3 import java.util.concurrent.ExecutorService;
4 import java.util.concurrent.Executors;
5
6 class MyRunnable implements Runnable {
7 @Override
8 public void run() {
9 for (int x = 0; x < 100; x++) {
10 System.out.println(Thread.currentThread().getName() + ":" + x);
11 }
12 }
13 }
14
15 public class TestThreadPool {
16 public static void main(String[] args) {
17 // 建立一個線程池對象,控制要建立幾個線程對象。
18 ExecutorService pool = Executors.newFixedThreadPool(2);
19
20 // 可以執行Runnable對象或者Callable對象代表的線程
21 pool.execute(new MyRunnable());
22 pool.execute(new MyRunnable());
23
24 //結束線程池
25 pool.shutdown();
26 }
27 }
運作結果:
Executor 接口
1 public interface Executor {
2 void execute(Runnable command);
3 }
我們可以看到 Executor 接口非常簡單,就一個
void execute(Runnable command)
方法,代表送出一個任務。
當然了,Executor 這個接口隻有送出任務的功能,太簡單了,我們想要更豐富的功能,比如我們想知道執行結果、我們想知道目前線程池有多少個線程活着、已經完成了多少任務等等,這些都是這個接口的不足的地方。接下來我們要介紹的是繼承自
Executor
接口的
ExecutorService
接口,這個接口提供了比較豐富的功能,也是我們最常使用到的接口。
ExecutorService
那麼我們簡單初略地來看一下這個接口中都有哪些方法:
1 public interface ExecutorService extends Executor {
2
3 // 關閉線程池,已送出的任務繼續執行,不接受繼續送出新任務
4 void shutdown();
5
6 // 關閉線程池,嘗試停止正在執行的所有任務,不接受繼續送出新任務
7 // 它和前面的方法相比,加了一個單詞“now”,差別在于它會去停止目前正在進行的任務
8 List<Runnable> shutdownNow();
9
10 // 線程池是否已關閉
11 boolean isShutdown();
12
13 // 如果調用了 shutdown() 或 shutdownNow() 方法後,所有任務結束了,那麼傳回true
14 // 這個方法必須在調用shutdown或shutdownNow方法之後調用才會傳回true
15 boolean isTerminated();
16
17 // 等待所有任務完成,并設定逾時時間
18 // 我們這麼了解,實際應用中是,先調用 shutdown 或 shutdownNow,
19 // 然後再調這個方法等待所有的線程真正地完成,傳回值意味着有沒有逾時
20 boolean awaitTermination(long timeout, TimeUnit unit)
21 throws InterruptedException;
22
23 // 送出一個 Callable 任務
24 <T> Future<T> submit(Callable<T> task);
25
26 // 送出一個 Runnable 任務,第二個參數将會放到 Future 中,作為傳回值,
27 // 因為 Runnable 的 run 方法本身并不傳回任何東西
28 <T> Future<T> submit(Runnable task, T result);
29
30 // 送出一個 Runnable 任務
31 Future<?> submit(Runnable task);
32
33 ......
34 }
這些方法都很好了解,一個簡單的線程池主要就是這些功能,能送出任務,能擷取結果,能關閉線程池,這也是為什麼我們經常用這個接口的原因。
AbstractExecutorService
AbstractExecutorService 抽象類派生自 ExecutorService 接口,然後在其基礎上實作了幾個實用的方法,這些方法提供給子類進行調用。
這個抽象類實作了 ExecutorService 中的 submit 方法,newTaskFor 方法用于将任務包裝成 FutureTask。定義于最上層接口 Executor中的
void execute(Runnable command)
由于不需要擷取結果,不會進行 FutureTask 的包裝。
1 public abstract class AbstractExecutorService implements ExecutorService {
2
3 // RunnableFuture 是用于擷取執行結果的,我們常用它的子類 FutureTask
4 // 下面兩個 newTaskFor 方法用于将我們的任務包裝成 FutureTask 送出到線程池中執行
5 protected <T> RunnableFuture<T> newTaskFor(Runnable runnable, T value) {
6 return new FutureTask<T>(runnable, value);
7 }
8
9 protected <T> RunnableFuture<T> newTaskFor(Callable<T> callable) {
10 return new FutureTask<T>(callable);
11 }
12
13 // 送出任務
14 public Future<?> submit(Runnable task) {
15 if (task == null) throw new NullPointerException();
16 // 1. 将任務包裝成 FutureTask
17 RunnableFuture<Void> ftask = newTaskFor(task, null);
18 // 2. 交給執行器執行,execute 方法由具體的子類來實作
19 // 前面也說了,FutureTask 間接實作了Runnable 接口。
20 execute(ftask);
21 return ftask;
22 }
23
24 public <T> Future<T> submit(Runnable task, T result) {
25 if (task == null) throw new NullPointerException();
26 // 1. 将任務包裝成 FutureTask
27 RunnableFuture<T> ftask = newTaskFor(task, result);
28 // 2. 交給執行器執行
29 execute(ftask);
30 return ftask;
31 }
32
33 public <T> Future<T> submit(Callable<T> task) {
34 if (task == null) throw new NullPointerException();
35 // 1. 将任務包裝成 FutureTask
36 RunnableFuture<T> ftask = newTaskFor(task);
37 // 2. 交給執行器執行
38 execute(ftask);
39 return ftask;
40 }
41 }
到這裡,我們發現,這個抽象類包裝了一些基本的方法,可是 submit等方法,它們都沒有真正開啟線程來執行任務,它們都隻是在方法内部調用了 execute 方法,是以最重要的 execute(Runnable runnable) 方法還沒出現,這裡我們要說的就是 ThreadPoolExecutor 類了。
ThreadPoolExecutor
我們經常會使用
Executors
這個工具類來快速構造一個線程池,對于初學者而言,這種工具類是很有用的,開發者不需要關注太多的細節,隻要知道自己需要一個線程池,僅僅提供必需的參數就可以了,其他參數都采用作者提供的預設值。
1 public static ExecutorService newFixedThreadPool(int nThreads) {
2 return new ThreadPoolExecutor(nThreads, nThreads,
3 0L, TimeUnit.MILLISECONDS,
4 new LinkedBlockingQueue<Runnable>());
5 }
6 public static ExecutorService newCachedThreadPool() {
7 return new ThreadPoolExecutor(0, Integer.MAX_VALUE,
8 60L, TimeUnit.SECONDS,
9 new SynchronousQueue<Runnable>());
10 }
這裡先不說有什麼差別,它們最終都會導向這個構造方法:
1 public ThreadPoolExecutor(int corePoolSize,
2 int maximumPoolSize,
3 long keepAliveTime,
4 TimeUnit unit,
5 BlockingQueue<Runnable> workQueue,
6 ThreadFactory threadFactory,
7 RejectedExecutionHandler handler) {
8 if (corePoolSize < 0 ||
9 maximumPoolSize <= 0 ||
10 maximumPoolSize < corePoolSize ||
11 keepAliveTime < 0)
12 throw new IllegalArgumentException();
13 // 這幾個參數都是必須要有的
14 if (workQueue == null || threadFactory == null || handler == null)
15 throw new NullPointerException();
16
17 this.corePoolSize = corePoolSize;
18 this.maximumPoolSize = maximumPoolSize;
19 this.workQueue = workQueue;
20 this.keepAliveTime = unit.toNanos(keepAliveTime);
21 this.threadFactory = threadFactory;
22 this.handler = handler;
23 }
上面的構造方法中列出了我們最需要關心的幾個屬性了,下面逐個介紹下構造方法中出現的這幾個屬性:
- corePoolSize
線程池中的核心線程數。
- maximumPoolSize
最大線程數,線程池允許建立的最大線程數。如果目前阻塞隊列滿了,且繼續送出任務,則建立新的線程執行任務,前提是目前線程數小于maximumPoolSize;當阻塞隊列是***隊列, 則maximumPoolSize則不起作用, 因為無法送出至核心線程池的線程會一直持續地放入workQueue
- workQueue
用來儲存等待被執行的任務的阻塞隊列. 在JDK中提供了如下阻塞隊列:
(1) ArrayBlockingQueue:基于數組結構的有界阻塞隊列,按FIFO排序任務;
(2) LinkedBlockingQuene:基于連結清單結構的阻塞隊列,按FIFO排序任務,吞吐量通常要高于ArrayBlockingQuene;
(3) SynchronousQuene:一個不存儲元素的阻塞隊列,每個插入操作必須等到另一個線程調用移除操作,否則插入操作一直處于阻塞狀态,吞吐量通常要高于LinkedBlockingQuene;
(4) priorityBlockingQuene:具有優先級的***阻塞隊列;
有興趣的可以看看我前面關于BlockingQuene的文章
- keepAliveTime
空閑線程的保活時間,如果某線程的空閑時間超過這個值都沒有任務給它做,那麼可以被關閉了。注意這個值并不會對所有線程起作用,如果線程池中的線程數少于等于核心線程數 corePoolSize,那麼這些線程不會因為空閑太長時間而被關閉,當然,也可以通過調用
allowCoreThreadTimeOut(true)
使核心線程數内的線程也可以被回收;預設情況下,該參數隻線上程數大于
corePoolSize
時才有用, 超過這個時間的空閑線程将被終止。
- unit
keepAliveTime的機關
- threadFactory
用于生成線程,一般我們可以用預設的就可以了。通常,我們可以通過它将我們的線程的名字設定得比較可讀一些,如 Message-Thread-1, Message-Thread-2 類似這樣。
- handler
線程池的飽和政策,當阻塞隊列滿了,且沒有空閑的工作線程,如果繼續送出任務,必須采取一種政策處理該任務,線程池提供了4種政策:
AbortPolicy:直接抛出異常,預設政策;
CallerRunsPolicy:用調用者所在的線程來執行任務;
DiscardOldestPolicy:丢棄阻塞隊列中靠最前的任務,并執行目前任務;
DiscardPolicy:直接丢棄任務;
當然也可以根據應用場景實作RejectedExecutionHandler接口,自定義飽和政策,如記錄日志或持久化存儲不能處理的任務。
除了上面幾個屬性外,我們再看看其他重要的屬性。
1 private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));
2
3 // 這裡 COUNT_BITS 設定為 29(32-3),意味着前三位用于存放線程狀态,後29位用于存放線程數
4 private static final int COUNT_BITS = Integer.SIZE - 3;
5
6 // 000 11111111111111111111111111111
7 // 這裡得到的是 29 個 1,也就是說線程池的最大線程數是 2^29-1=536870911
8 // 以我們現在計算機的實際情況,這個數量還是夠用的
9 private static final int CAPACITY = (1 << COUNT_BITS) - 1;
10
11 // 我們說了,線程池的狀态存放在高 3 位中
12 // 運算結果為 111跟29個0:111 00000000000000000000000000000
13 private static final int RUNNING = -1 << COUNT_BITS;
14 // 000 00000000000000000000000000000
15 private static final int SHUTDOWN = 0 << COUNT_BITS;
16 // 001 00000000000000000000000000000
17 private static final int STOP = 1 << COUNT_BITS;
18 // 010 00000000000000000000000000000
19 private static final int TIDYING = 2 << COUNT_BITS;
20 // 011 00000000000000000000000000000
21 private static final int TERMINATED = 3 << COUNT_BITS;
22
23 // 将整數 c 的低 29 位修改為 0,就得到了線程池的狀态
24 private static int runStateOf(int c) { return c & ~CAPACITY; }
25 // 将整數 c 的高 3 為修改為 0,就得到了線程池中的線程數
26 private static int workerCountOf(int c) { return c & CAPACITY; }
27
28 private static int ctlOf(int rs, int wc) { return rs | wc; }
29
30 private static boolean runStateLessThan(int c, int s) {
31 return c < s;
32 }
33
34 private static boolean runStateAtLeast(int c, int s) {
35 return c >= s;
36 }
37
38 private static boolean isRunning(int c) {
39 return c < SHUTDOWN;
40 }
在這裡,介紹下線程池中的各個狀态和狀态變化的轉換過程:
- RUNNING:這個沒什麼好說的,這是最正常的狀态:接受新的任務,處理等待隊列中的任務
- SHUTDOWN:不接受新的任務送出,但是會繼續處理等待隊列中的任務
- STOP:不接受新的任務送出,不再處理等待隊列中的任務,中斷正在執行任務的線程
- TIDYING:所有的任務都銷毀了,workCount 為 0。線程池的狀态在轉換為 TIDYING 狀态時,會執行鈎子方法 terminated()
- TERMINATED:terminated() 方法結束後,線程池的狀态就會變成這個
看了這幾種狀态的介紹,讀者大體也可以猜到十之八九的狀态轉換了,各個狀态的轉換過程有以下幾種:
- RUNNING -> SHUTDOWN:當調用了 shutdown() 後,會發生這個狀态轉換,這也是最重要的
- (RUNNING or SHUTDOWN) -> STOP:當調用 shutdownNow() 後,會發生這個狀态轉換,這下要清楚 shutDown() 和 shutDownNow() 的差別了
- SHUTDOWN -> TIDYING:當任務隊列和線程池都清空後,會由 SHUTDOWN 轉換為 TIDYING
- STOP -> TIDYING:當任務隊列清空後,發生這個轉換
- TIDYING -> TERMINATED:這個前面說了,當 terminated() 方法結束後
另外,我們還要看看一個内部類 Worker,因為 Doug Lea 把線程池中的線程包裝成了一個個 Worker,翻譯成勞工,就是線程池中做任務的線程。是以到這裡,我們知道任務是 Runnable(内部叫 task 或 command),線程是 Worker。
1 private final class Worker
2 extends AbstractQueuedSynchronizer
3 implements Runnable{
4 private static final long serialVersionUID = 6138294804551838833L;
5
6 // 這個是真正的線程,任務靠你啦
7 final Thread thread;
8
9 // 前面說了,這裡的 Runnable 是任務。為什麼叫 firstTask?因為在建立線程的時候,如果同時指定了
10 // 這個線程起來以後需要執行的第一個任務,那麼第一個任務就是存放在這裡的(線程可不止執行這一個任務)
11 // 當然了,也可以為 null,這樣線程起來了,自己到任務隊列(BlockingQueue)中取任務(getTask 方法)就行了
12 Runnable firstTask;
13
14 // 用于存放此線程完全的任務數,注意了,這裡用了 volatile,保證可見性
15 volatile long completedTasks;
16
17 // Worker 隻有這一個構造方法,傳入 firstTask,也可以傳 null
18 Worker(Runnable firstTask) {
19 setState(-1); // inhibit interrupts until runWorker
20 this.firstTask = firstTask;
21 // 調用 ThreadFactory 來建立一個新的線程,這裡建立的線程到時候用來執行任務
22 this.thread = getThreadFactory().newThread(this);
23 }
24
25 // 這裡調用了外部類的 runWorker 方法
26 public void run() {
27 runWorker(this);
28 }
29
30 ...
31 }
有了上面的這些基礎後,我們終于可以看看 ThreadPoolExecutor 的 execute 方法了,前面源碼分析的時候也說了,各種方法都最終依賴于 execute 方法:
1 public void execute(Runnable command) {
2 if (command == null)
3 throw new NullPointerException();
4
5 // 前面說的那個表示 "線程池狀态" 和 "線程數" 的整數
6 int c = ctl.get();
7
8 // 如果目前線程數少于核心線程數,那麼直接添加一個 worker 來執行任務,
9 // 建立一個新的線程,并把目前任務 command 作為這個線程的第一個任務(firstTask)
10 if (workerCountOf(c) < corePoolSize) {
11 // 添加任務成功,那麼就結束了。送出任務嘛,線程池已經接受了這個任務,這個方法也就可以傳回了
12 // 至于執行的結果,到時候會包裝到 FutureTask 中。
13 // 這裡的true代表目前線程數小于corePoolSize,表示以corePoolSize為線程數界限
14 if (addWorker(command, true))
15 return;
16 c = ctl.get();
17 }
18 // 到這裡說明,要麼目前線程數大于等于核心線程數,要麼剛剛 addWorker 失敗了
19 // 如果線程池處于 RUNNING 狀态,把這個任務添加到任務隊列 workQueue 中
20 if (isRunning(c) && workQueue.offer(command)) {
21 int recheck = ctl.get();
22 // 如果線程池已不處于 RUNNING 狀态,那麼移除已經入隊的這個任務,并且執行拒絕政策
23 if (! isRunning(recheck) && remove(command))
24 reject(command);
25 else if (workerCountOf(recheck) == 0)
26 addWorker(null, false);
27 }
28 // 如果 workQueue 隊列滿了,那麼進入到這個分支
29 // 這裡的false代表目前線程數大于corePoolSize,表示以 maximumPoolSize 為界建立新的 worker
30 // 如果失敗,說明目前線程數已經達到 maximumPoolSize,執行拒絕政策
31 else if (!addWorker(command, false))
32 reject(command);
33 }
我們可以看看大體的執行流程
這個方法非常重要 addWorker(Runnable firstTask, boolean core) 方法,我們看看它是怎麼建立新的線程的:
1 // 第一個參數是準備送出給這個線程執行的任務,之前說了,可以為 null
2 // 第二個參數為 true 代表使用核心線程數 corePoolSize 作為建立線程的界線,也就說建立這個線程的時候,
3 // 如果線程池中的線程總數已經達到 corePoolSize,那麼傳回false
4 // 如果是 false,代表使用最大線程數 maximumPoolSize 作為界線,線程池中的線程總數已經達到 maximumPoolSize,那麼傳回false
5 private boolean addWorker(Runnable firstTask, boolean core) {
6 retry:
7 for (;;) {
8 int c = ctl.get();
9 int rs = runStateOf(c);
10
11 // 如果線程池已關閉,并滿足以下條件之一,那麼不建立新的 worker:
12 // 1. 線程池狀态大于 SHUTDOWN,其實也就是 STOP, TIDYING, 或 TERMINATED
13 // 2. firstTask != null
14 // 3. workQueue.isEmpty()
15 if (rs >= SHUTDOWN &&
16 ! (rs == SHUTDOWN &&
17 firstTask == null &&
18 ! workQueue.isEmpty()))
19 return false;
20
21 for (;;) {
22 int wc = workerCountOf(c);
23 //這裡就是通過core參數對目前線程數的判斷
24 if (wc >= CAPACITY ||
25 wc >= (core ? corePoolSize : maximumPoolSize))
26 return false;
27 if (compareAndIncrementWorkerCount(c))
28 break retry;
29 c = ctl.get();
30 if (runStateOf(c) != rs)
31 continue retry;
32 // else CAS failed due to workerCount change; retry inner loop
33 }
34 }
35
36 /*
37 * 到這裡,我們認為在目前這個時刻,可以開始建立線程來執行任務了,
38 */
39
40 // worker 是否已經啟動
41 boolean workerStarted = false;
42 // 是否已将這個 worker 添加到 workers 這個 HashSet 中
43 boolean workerAdded = false;
44 Worker w = null;
45 try {
46 final ReentrantLock mainLock = this.mainLock;
47 // 把 firstTask 傳給 worker 的構造方法
48 w = new Worker(firstTask);
49 // 取 worker 中的線程對象,之前說了,Worker的構造方法會調用 ThreadFactory 來建立一個新的線程
50 final Thread t = w.thread;
51 if (t != null) {
52 // 這個是整個類的全局鎖,因為關閉一個線程池需要這個鎖,至少我持有鎖的期間,線程池不會被關閉
53 mainLock.lock();
54 try {
55
56 int c = ctl.get();
57 int rs = runStateOf(c);
58
59 // 小于 SHUTTDOWN 那就是 RUNNING
60 // 如果等于 SHUTDOWN,前面說了,不接受新的任務,但是會繼續執行等待隊列中的任務
61 if (rs < SHUTDOWN ||
62 (rs == SHUTDOWN && firstTask == null)) {
63 // worker 裡面的 thread 可不能是已經啟動的
64 if (t.isAlive())
65 throw new IllegalThreadStateException();
66 // 加到 workers 這個 HashSet 中
67 workers.add(w);
68 int s = workers.size();
69 // largestPoolSize 用于記錄 workers 中的個數的最大值
70 // 因為 workers 是不斷增加減少的,通過這個值可以知道線程池的大小曾經達到的最大值
71 if (s > largestPoolSize)
72 largestPoolSize = s;
73 workerAdded = true;
74 }
75 } finally {
76 mainLock.unlock();
77 }
78 // 添加成功的話,啟動這個線程
79 if (workerAdded) {
80 // 啟動線程,最重要的就是這裡,下面我們會講解如何執行任務
81 t.start();
82 workerStarted = true;
83 }
84 }
85 } finally {
86 // 如果線程沒有啟動,需要做一些清理工作,如前面 workCount 加了 1,将其減掉
87 if (! workerStarted)
88 addWorkerFailed(w);
89 }
90 // 傳回線程是否啟動成功
91 return workerStarted;
92 }
上面第81行代碼處已經啟動了線程,w = new Worker(firstTask); t = w.thread,我們接着看看Worker這個類
1 private final class Worker
2 extends AbstractQueuedSynchronizer
3 implements Runnable{
4 private static final long serialVersionUID = 6138294804551838833L;
5 final Thread thread;
6 Runnable firstTask;
7 volatile long completedTasks;
8
9 // Worker 隻有這一個構造方法,傳入 firstTask
10 Worker(Runnable firstTask) {
11 setState(-1); // inhibit interrupts until runWorker
12 this.firstTask = firstTask;
13 // 調用 ThreadFactory 來建立一個新的線程,這裡建立的線程到時候用來執行任務
14 // 我們發現建立線程的時候傳入的值是this,我們知道建立線程可以通過繼承Runnable的方法,
15 // Worker繼承了Runnable,并且下面重寫了run()方法
16 this.thread = getThreadFactory().newThread(this);
17 }
18
19 // 由上面建立線程時傳入的this,上面的thread啟動後,會執行這裡的run()方法,并且此時runWorker傳入的也是this
20 public void run() {
21 runWorker(this);
22 }
23 }
繼續往下看 runWorker 方法:
1 // 此方法由 worker 線程啟動後調用,這裡用一個 while 循環來不斷地從等待隊列中擷取任務并執行
2 // 前面說了,worker 在初始化的時候,可以指定 firstTask,那麼第一個任務也就可以不需要從隊列中擷取
3 final void runWorker(Worker w) {
4 Thread wt = Thread.currentThread();
5 // 該線程的第一個任務(如果有的話)
6 Runnable task = w.firstTask;
7 w.firstTask = null;
8 w.unlock(); // allow interrupts
9 boolean completedAbruptly = true;
10 try {
11 // 循環調用 getTask 擷取任務
12 while (task != null || (task = getTask()) != null) {
13 w.lock();
14 // 如果線程池狀态大于等于 STOP,那麼意味着該線程也要中斷
15 if ((runStateAtLeast(ctl.get(), STOP) ||
16 (Thread.interrupted() &&
17 runStateAtLeast(ctl.get(), STOP))) &&
18 !wt.isInterrupted())
19 wt.interrupt();
20 try {
21 beforeExecute(wt, task);
22 Throwable thrown = null;
23 try {
24 // 到這裡終于可以執行任務了,這裡是最重要的,task是什麼?是Worker 中的firstTask屬性
25 // 也就是上面我們使用示例裡面的 new MyRunnable()執行個體,這裡就是真正的執行run方法裡面的代碼
26 task.run();
27 } catch (RuntimeException x) {
28 thrown = x; throw x;
29 } catch (Error x) {
30 thrown = x; throw x;
31 } catch (Throwable x) {
32 thrown = x; throw new Error(x);
33 } finally {
34 afterExecute(task, thrown);
35 }
36 } finally {
37 // 一個任務執行完了,這個線程還可以複用,接着去隊列中拉取任務執行
38 // 置空 task,準備 getTask 擷取下一個任務
39 task = null;
40 // 累加完成的任務數
41 w.completedTasks++;
42 // 釋放掉 worker 的獨占鎖
43 w.unlock();
44 }
45 }
46 completedAbruptly = false;
47 } finally {
48 // 如果到這裡,需要執行線程關閉:
49 // 說明 getTask 傳回 null,也就是超過corePoolSize的線程過了逾時時間還沒有擷取到任務,也就是說,這個 worker 的使命結束了,執行關閉
50 processWorkerExit(w, completedAbruptly);
51 }
52 }
我們看看 getTask() 是怎麼擷取任務的
1 // 此方法有三種可能:
2 // 1. 阻塞直到擷取到任務傳回。我們知道,預設 corePoolSize 之内的線程是不會被回收的,
3 // 它們會一直等待任務
4 // 2. 逾時退出。keepAliveTime 起作用的時候,也就是如果這麼多時間内都沒有任務,那麼應該執行關閉
5 // 3. 如果發生了以下條件,此方法必須傳回 null:
6 // - 池中有大于 maximumPoolSize 個 workers 存在(通過調用 setMaximumPoolSize 進行設定)
7 // - 線程池處于 SHUTDOWN,而且 workQueue 是空的,前面說了,這種不再接受新的任務
8 // - 線程池處于 STOP,不僅不接受新的線程,連 workQueue 中的線程也不再執行
9 private Runnable getTask() {
10 boolean timedOut = false; // Did the last poll() time out?
11
12 retry:
13 for (;;) {
14 int c = ctl.get();
15 int rs = runStateOf(c);
16 // 兩種可能
17 // 1. rs == SHUTDOWN && workQueue.isEmpty()
18 // 2. rs >= STOP
19 if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
20 // CAS 操作,減少工作線程數
21 decrementWorkerCount();
22 return null;
23 }
24
25 boolean timed; // Are workers subject to culling?
26 for (;;) {
27 int wc = workerCountOf(c);
28 // 允許核心線程數内的線程回收,或目前線程數超過了核心線程數,那麼有可能發生逾時關閉
29 timed = allowCoreThreadTimeOut || wc > corePoolSize;
30 if (wc <= maximumPoolSize && ! (timedOut && timed))
31 break;
32 if (compareAndDecrementWorkerCount(c))
33 return null;
34 c = ctl.get(); // Re-read ctl
35 // compareAndDecrementWorkerCount(c) 失敗,線程池中的線程數發生了改變
36 if (runStateOf(c) != rs)
37 continue retry;
38 // else CAS failed due to workerCount change; retry inner loop
39 }
40 // wc <= maximumPoolSize 同時沒有逾時
41 try {
42 // 到 workQueue 中擷取任務
43 // 如果timed=wc > corePoolSize=false,我們知道核心線程數之内的線程永遠不會銷毀,則執行workQueue.take();我前面文章中講過,take()方法是阻塞方法,如果隊裡中有任務則取到任務,如果沒有任務,則一直阻塞在這裡知道有任務被喚醒。
44 //如果timed=wc > corePoolSize=true,這裡将執行逾時政策,poll(keepAliveTime, TimeUnit.NANOSECONDS)會阻塞keepAliveTime這麼長時間,沒逾時就傳回任務,逾時則傳回null.
45 Runnable r = timed ?
46 workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
47 workQueue.take();
48 if (r != null)
49 return r;
50 timedOut = true;
51 } catch (InterruptedException retry) {
52 // 如果此 worker 發生了中斷,采取的方案是重試
53 // 解釋下為什麼會發生中斷,這個讀者要去看 setMaximumPoolSize 方法,
54 // 如果開發者将 maximumPoolSize 調小了,導緻其小于目前的 workers 數量,
55 // 那麼意味着超出的部分線程要被關閉。重新進入 for 循環,自然會有部分線程會傳回 null
56 timedOut = false;
57 }
58 }
59 }
到這裡,基本上也說完了整個流程,讀者這個時候應該回到 execute(Runnable command) 方法,有兩種情況會調用 reject(command) 來處理任務,因為按照正常的流程,線程池此時不能接受這個任務,是以需要執行我們的拒絕政策。接下來,我們說一說 ThreadPoolExecutor 中的拒絕政策。
1 final void reject(Runnable command) {
2 // 執行拒絕政策
3 handler.rejectedExecution(command, this);
4 }
此處的 handler 我們需要在構造線程池的時候就傳入這個參數,它是 RejectedExecutionHandler 的執行個體。
RejectedExecutionHandler 在 ThreadPoolExecutor 中有四個已經定義好的實作類可供我們直接使用,當然,我們也可以實作自己的政策,不過一般也沒有必要。
1 // 隻要線程池沒有被關閉,那麼由送出任務的線程自己來執行這個任務。
2 public static class CallerRunsPolicy implements RejectedExecutionHandler {
3 public CallerRunsPolicy() { }
4 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
5 if (!e.isShutdown()) {
6 r.run();
7 }
8 }
9 }
10
11 // 不管怎樣,直接抛出 RejectedExecutionException 異常
12 // 這個是預設的政策,如果我們構造線程池的時候不傳相應的 handler 的話,那就會指定使用這個
13 public static class AbortPolicy implements RejectedExecutionHandler {
14 public AbortPolicy() { }
15 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
16 throw new RejectedExecutionException("Task " + r.toString() +
17 " rejected from " +
18 e.toString());
19 }
20 }
21
22 // 不做任何處理,直接忽略掉這個任務
23 public static class DiscardPolicy implements RejectedExecutionHandler {
24 public DiscardPolicy() { }
25 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
26 }
27 }
28
29 // 這個相對霸道一點,如果線程池沒有被關閉的話,
30 // 把隊列隊頭的任務(也就是等待了最長時間的)直接扔掉,然後送出這個任務到等待隊列中
31 public static class DiscardOldestPolicy implements RejectedExecutionHandler {
32 public DiscardOldestPolicy() { }
33 public void rejectedExecution(Runnable r, ThreadPoolExecutor e) {
34 if (!e.isShutdown()) {
35 e.getQueue().poll();
36 e.execute(r);
37 }
38 }
39 }
到這裡,ThreadPoolExecutor 算是分析得差不多了
總結
我們簡單回顧下線程建立的流程
- 如果目前線程數少于 corePoolSize,那麼送出任務的時候建立一個新的線程,并由這個線程執行這個任務;
- 如果目前線程數已經達到 corePoolSize,那麼将送出的任務添加到隊列中,等待線程池中的線程去隊列中取任務;
- 如果隊列已滿,那麼建立新的線程來執行任務,需要保證池中的線程數不會超過 maximumPoolSize,如果此時線程數超過了 maximumPoolSize,那麼執行拒絕政策。