天天看點

多線程(十一)Fork/Join架構介紹1.什麼是Fork/Join架構2.工作竊取算法3.Fork/Join架構的介紹4.使用Fork/Join架構5.Fork/Join架構的異常處理6.Fork/Join架構的實作原理

1.什麼是Fork/Join架構

  Fork/Join架構是Java7提供了的一個用于并行執行任務的架構, 是一個把大任務分割成若幹個小任務,最終彙總每個小任務結果後得到大任務結果的架構。

  我們再通過Fork和Join這兩個單詞來了解下Fork/Join架構,Fork就是把一個大任務切分為若幹子任務并行的執行,Join就是合并這些子任務的執行結果,最後得到這個大任務的結果。比如計算1+2+。。+10000,可以分割成10個子任務,每個子任務分别對1000個數進行求和,最終彙總這10個子任務的結果。Fork/Join的運作流程圖如下:

多線程(十一)Fork/Join架構介紹1.什麼是Fork/Join架構2.工作竊取算法3.Fork/Join架構的介紹4.使用Fork/Join架構5.Fork/Join架構的異常處理6.Fork/Join架構的實作原理

2.工作竊取算法

  工作竊取(work-stealing)算法是指某個線程從其他隊列裡竊取任務來執行。工作竊取的運作流程圖如下:

多線程(十一)Fork/Join架構介紹1.什麼是Fork/Join架構2.工作竊取算法3.Fork/Join架構的介紹4.使用Fork/Join架構5.Fork/Join架構的異常處理6.Fork/Join架構的實作原理

  那麼為什麼需要使用工作竊取算法呢?假如我們需要做一個比較大的任務,我們可以把這個任務分割為若幹互不依賴的子任務,為了減少線程間的競争,于是把這些子任務分别放到不同的隊列裡,并為每個隊列建立一個單獨的線程來執行隊列裡的任務,線程和隊列一一對應,比如A線程負責處理A隊列裡的任務。但是有的線程會先把自己隊列裡的任務幹完,而其他線程對應的隊列裡還有任務等待處理。幹完活的線程與其等着,不如去幫其他線程幹活,于是它就去其他線程的隊列裡竊取一個任務來執行。而在這時它們會通路同一個隊列,是以為了減少竊取任務線程和被竊取任務線程之間的競争,通常會使用雙端隊列,被竊取任務線程永遠從雙端隊列的頭部拿任務執行,而竊取任務的線程永遠從雙端隊列的尾部拿任務執行。

  工作竊取算法的優點是充分利用線程進行并行計算,并減少了線程間的競争,其缺點是在某些情況下還是存在競争,比如雙端隊列裡隻有一個任務時。并且消耗了更多的系統資源,比如建立多個線程和多個雙端隊列。

3.Fork/Join架構的介紹

  我們已經很清楚Fork/Join架構的需求了,那麼我們可以思考一下,如果讓我們來設計一個Fork/Join架構,該如何設計?這個思考有助于你了解Fork/Join架構的設計。

  第一步分割任務。首先我們需要有一個fork類來把大任務分割成子任務,有可能子任務還是很大,是以還需要不停的分割,直到分割出的子任務足夠小。

  第二步執行任務并合并結果。分割的子任務分别放在雙端隊列裡,然後幾個啟動線程分别從雙端隊列裡擷取任務執行。子任務執行完的結果都統一放在一個隊列裡,啟動一個線程從隊列裡拿資料,然後合并這些資料。

多線程(十一)Fork/Join架構介紹1.什麼是Fork/Join架構2.工作竊取算法3.Fork/Join架構的介紹4.使用Fork/Join架構5.Fork/Join架構的異常處理6.Fork/Join架構的實作原理

Fork/Join使用兩個類來完成以上兩件事情(類圖如上):

ForkJoinTask:我們要使用ForkJoin架構,必須首先建立一個ForkJoin任務。它提供在任務中執行fork()和join()操作的機制,通常情況下我們不需要直接繼承ForkJoinTask類,而隻需要繼承它的子類,Fork/Join架構提供了以下兩個子類:

RecursiveAction:用于沒有傳回結果的任務。

RecursiveTask :用于有傳回結果的任務。

ForkJoinPool :ForkJoinTask需要通過ForkJoinPool來執行,任務分割出的子任務會添加到目前工作線程所維護的雙端隊列中,進入隊列的頭部。當一個工作線程的隊列裡暫時沒有任務時,它會随機從其他工作線程的隊列的尾部擷取一個任務。

4.使用Fork/Join架構

  讓我們通過一個簡單的需求來使用下Fork/Join架構,需求是:計算1+2+3+4的結果。

  使用Fork/Join架構首先要考慮到的是如何分割任務,如果我們希望每個子任務最多執行兩個數的相加,那麼我們設定分割的門檻值是2,由于是4個數字相加,是以Fork/Join架構會把這個任務fork成兩個子任務,子任務一負責計算1+2,子任務二負責計算3+4,然後再join兩個子任務的結果。

因為是有結果的任務,是以必須繼承RecursiveTask,實作代碼如下:

public class CountTask extends RecursiveTask<Integer>{

    private static final int THRESHOLD=;//阙值
    private int start;
    private int end;

    public CountTask(int start,int end){
        this.start=start;
        this.end=end;
    }

    @Override
    protected Integer compute() {

        int sum=;

        //如果任務足夠小就計算任務
        boolean canCompute=(end-start)<=THRESHOLD;
        if(canCompute){
            for (int i = start; i <= end; i++) {
                sum+=i;
            }
        }else {
            //如果任務大于阙值,就分裂成兩個子任務計算
            int middle=(start+end)/;
            CountTask leftTask=new CountTask(start,middle);
            CountTask rightTask=new CountTask(middle+,end);

            //執行子任務
            leftTask.fork();
            rightTask.fork();

            //等待子任務執行完,并得到其結果
            int leftResult = leftTask.join();
            int rightResult = rightTask.join();

            sum=leftResult + rightResult;

        }

        return sum;
    }
}

public class ForkJoinTest {

    public static void main(String[] args) {
        ForkJoinPool forkJoinPool = new ForkJoinPool();

        //生成一個計算任務,負責計算1+2+3+4
        CountTask task = new CountTask(, );

        //執行一個任務
        Future<Integer> submitResult = forkJoinPool.submit(task);

        try {
            System.out.println(submitResult.get());//10 
        } catch (InterruptedException e) {
            e.printStackTrace();
        } catch (ExecutionException e) {
            e.printStackTrace();
        }

    }
}
           

  通過這個例子讓我們再來進一步了解ForkJoinTask,ForkJoinTask與一般的任務的主要差別在于它需要實作compute方法,在這個方法裡,首先需要判斷任務是否足夠小,如果足夠小就直接執行任務。如果不足夠小,就必須分割成兩個子任務,每個子任務在調用fork方法時,又會進入compute方法,看看目前子任務是否需要繼續分割成孫任務,如果不需要繼續分割,則執行目前子任務并傳回結果。使用join方法會等待子任務執行完并得到其結果。

5.Fork/Join架構的異常處理

  ForkJoinTask在執行的時候可能會抛出異常,但是我們沒辦法在主線程裡直接捕獲異常,是以ForkJoinTask提供了isCompletedAbnormally()方法來檢查任務是否已經抛出異常或已經被取消了,并且可以通過ForkJoinTask的getException方法擷取異常。使用如下代碼:

if(task.isCompletedAbnormally())
{
    System.out.println(task.getException());
}
           

  getException方法傳回Throwable對象,如果任務被取消了則傳回CancellationException。如果任務沒有完成或者沒有抛出異常則傳回null。

6.Fork/Join架構的實作原理

  ForkJoinPool由ForkJoinTask數組和ForkJoinWorkerThread數組組成,ForkJoinTask數組負責存放程式送出給ForkJoinPool的任務,而ForkJoinWorkerThread數組負責執行這些任務。

  ForkJoinTask的fork方法實作原理。當我們調用ForkJoinTask的fork方法時,程式會調用ForkJoinWorkerThread的pushTask方法異步的執行這個任務,然後立即傳回結果。代碼如下:

public final ForkJoinTask fork() {         ((ForkJoinWorkerThread) Thread.currentThread())             .pushTask(this);

return this; 
} 
           

  pushTask方法把目前任務存放在ForkJoinTask 數組queue裡。然後再調用ForkJoinPool的signalWork()方法喚醒或建立一個工作線程來執行任務。代碼如下:

final void pushTask(ForkJoinTask t) {
        ForkJoinTask[] q; int s, m;
        if ((q = queue) != null) {    // ignore if queue removed
            long u = (((s = queueTop) & (m = q.length - )) << ASHIFT) + ABASE;
            UNSAFE.putOrderedObject(q, u, t);
            queueTop = s + ;         // or use putOrderedInt
            if ((s -= queueBase) <= )
                pool.signalWork();
    else if (s == m)
                growQueue();
        }
    }
           

  ForkJoinTask的join方法實作原理。Join方法的主要作用是阻塞目前線程并等待擷取結果。讓我們一起看看ForkJoinTask的join方法的實作,代碼如下:

public final V join() {
        if (doJoin() != NORMAL)
            return reportResult();
        else
            return getRawResult();
}
private V reportResult() {
        int s; Throwable ex;
        if ((s = status) == CANCELLED)
            throw new CancellationException();
if (s == EXCEPTIONAL && (ex = getThrowableException()) != null)
            UNSAFE.throwException(ex);
        return getRawResult();
}
           

  首先,它調用了doJoin()方法,通過doJoin()方法得到目前任務的狀态來判斷傳回什麼結果,任務狀态有四種:已完成(NORMAL),被取消(CANCELLED),信号(SIGNAL)和出現異常(EXCEPTIONAL)。

如果任務狀态是已完成,則直接傳回任務結果。

如果任務狀态是被取消,則直接抛出CancellationException。

如果任務狀态是抛出異常,則直接抛出對應的異常。

讓我們再來分析下doJoin()方法的實作代碼:

private int doJoin() {
        Thread t; ForkJoinWorkerThread w; int s; boolean completed;
        if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) {
            if ((s = status) < )
 return s;
            if ((w = (ForkJoinWorkerThread)t).unpushTask(this)) {
                try {
                    completed = exec();
                } catch (Throwable rex) {
                    return setExceptionalCompletion(rex);
                }
                if (completed)
                    return setCompletion(NORMAL);
            }
            return w.joinTask(this);
        }
        else
            return externalAwaitDone();
    }
           

  在doJoin()方法裡,首先通過檢視任務的狀态,看任務是否已經執行完了,如果執行完了,則直接傳回任務狀态,如果沒有執行完,則從任務數組裡取出任務并執行。如果任務順利執行完成了,則設定任務狀态為NORMAL,如果出現異常,則紀錄異常,并将任務狀态設定為EXCEPTIONAL。

ForkJoinPool 評論

貌似并非每個人都對 Java 7 裡的 ForkJoinPool 滿意:《一個 Java 分叉-合并 帶來的災禍》。

在你計劃在自己的項目裡使用 ForkJoinPool 之前最好讀一下該篇文章。

《一個 Java 分叉-合并 帶來的災禍》結論

F / J架構作為一個API缺乏

它缺乏“特征的好API”(Joshua Bloch)

作為應用服務,F / J架構嚴重不足

它隻能作為嵌入式伺服器使用,無需遠端對象通路,如RMI

僅推薦用于彙總資料操作。

隻有建議使用者具有非常大的資料結構(巨型陣列)

它僅适用于具有大量處理器的機器(推薦16+)

它一次隻對一個請求有用

它僅适用于嚴格有限的處理(推薦)

必須是平原(計算方法中的100到10000個基本計算步驟)

僅計算密集型代碼

沒有阻塞

沒有I / O

沒有同步

它沒有記錄或警報

它沒有錯誤/失速恢複

它無法顯示/更改目前的執行狀态

它依賴于學術正确性而不是可維護性

缺乏範圍

它的多任務是錯誤的

效率低下

它不能擴充到數百個處理器

複雜到難以了解的程度

沒有使用者手冊,隻是JavaDoc

F / J架構的微不足道的好處并不超過

這個實驗增加了非叉子加入使用者的Java™運作時間

開發人員希望與JDK1.8平行化軟體的限制

F / J架構是支撐研究論文而不是輕量級架構的不充分的學術實驗。它不屬于JDK。

參考以下文章整理而成:

一個 Java 分叉-合并 帶來的災禍

Fork/Join架構介紹

繼續閱讀