Java併發 -- Fork/Join框架

文章基於jdk1.7，經過學習《Java併發編程的藝術》，對Fork/Join框架的理解。

什麼是Fork/Join框架

Fork/Join框架是Java7提供了的一個用於並行執行任務的框架， 是一個把大任務分割成若干個小任務，最終彙總每一個小任務結果後獲得大任務結果的框架。

它的主要思想是：分而治之。

工做竊取算法

工做竊取（work-stealing）算法是指某個線程從其餘隊列裏竊取任務來執行。

什麼須要使用工做竊取算法呢？假如咱們須要作一個比較大的任務，咱們能夠把這個任務分割爲若干互不依賴的子任務，爲了減小線程間的競爭，因而把這些子任務分別放到不一樣的隊列裏，併爲每一個隊列建立一個單獨的線程來執行隊列裏的任務，線程和隊列一一對應，好比A線程負責處理A隊列裏的任務。可是有的線程會先把本身隊列裏的任務幹完，而其餘線程對應的隊列裏還有任務等待處理。幹完活的線程與其等着，不如去幫其餘線程幹活，因而它就去其餘線程的隊列裏竊取一個任務來執行。而在這時它們會訪問同一個隊列，因此爲了減小竊取任務線程和被竊取任務線程之間的競爭，一般會使用雙端隊列，被竊取任務線程永遠從雙端隊列的頭部拿任務執行，而竊取任務的線程永遠從雙端隊列的尾部拿任務執行。

工做竊取算法的優勢是充分利用線程進行並行計算，並減小了線程間的競爭，其缺點是在某些狀況下仍是存在競爭，好比雙端隊列裏只有一個任務時。而且消耗了更多的系統資源，好比建立多個線程和多個雙端隊列。

介紹

Fork/Join框架的設計分爲兩步：

第一步分割任務。首先咱們須要有一個fork類來把大任務分割成子任務，有可能子任務仍是很大，因此還須要不停的分割，直到分割出的子任務足夠小。

第二步執行任務併合並結果。分割的子任務分別放在雙端隊列裏，而後幾個啓動線程分別從雙端隊列裏獲取任務執行。子任務執行完的結果都統一放在一個隊列裏，啓動一個線程從隊列裏拿數據，而後合併這些數據。

Fork/Join使用兩個類來完成以上兩件事情：

• ForkJoinTask：咱們要使用ForkJoin框架，必須首先建立一個ForkJoin任務。它提供在任務中執行fork()和join()操做的機制，一般狀況下咱們不須要直接繼承ForkJoinTask類，而只須要繼承它的子類，Fork/Join框架提供瞭如下兩個子類：

  RecursiveAction：用於沒有返回結果的任務。 RecursiveTask ：用於有返回結果的任務。

• ForkJoinPool ：ForkJoinTask須要經過ForkJoinPool來執行，任務分割出的子任務會添加到當前工做線程所維護的雙端隊列中，進入隊列的頭部。當一個工做線程的隊列裏暫時沒有任務時，它會隨機從其餘工做線程的隊列的尾部獲取一個任務。

使用

使用Fork/Join框架計算：1+2+3+……+100000000.

使用Fork／Join框架首先要考慮到的是如何分割任務，若是咱們但願每一個子任務最多執行10000個數的相加，那麼咱們設置分割的閾值是10000，因爲是100000000個數字相加，因此會不停的分割，第一次先分割成兩部分，即1~50000000 和 50000001~100000000，第二次繼續將 1~50000000 分割成 1~25000000 和 25000001~50000000 ，將50000001~100000000 分割成 50000001~75000000 和 75000001~100000000 ……，一直分割，直到 開始和 結束的的差小於等於10000。

import java.util.concurrent.*;
public class CountTask extends RecursiveTask<Long> {

    /** * 閥值 */
    private static final long THRESHOLD = 10000;
    // 開始數
    private long start;
    // 結束數
    private long end;

    public CountTask(long start, long end) {
        this.start = start;
        this.end = end;
    }

    @Override
    protected Long compute() {
        long sum = 0;
        // 若是足夠小就計算
        boolean canComplute = (end - start) <= THRESHOLD;
        if(canComplute) {
            for(long i = start; i <= end; i++) {
                sum += i;
            }
        } else {  // 不然，對大任務進行拆分
            // 對半分
            long middle = (start + end) /2;
            // 進行遞歸
            CountTask left = new CountTask(start, middle);
            CountTask right = new CountTask(middle + 1, end);
            // 執行子任務
            invokeAll(left, right);
            // 獲取結果
            long lResult = left.join();
            long rRight = right.join();
            sum = lResult + rRight;
        }
        return sum;
    }

    public static void main(String[] args) {
        long s = System.currentTimeMillis();
        ForkJoinPool pool = ForkJoinPool.commonPool();
        CountTask countTask = new CountTask(1,100000000);   // 參數爲起始值與結束值
        Future<Long> result = pool.submit(countTask);
        // 若是任務完成
        if(!((ForkJoinTask<Long>) result).isCompletedAbnormally()) {
            try {
                // 獲取任務結果
                System.out.println("fork/join計算爲：" + result.get());
            } catch (InterruptedException e) {
                e.printStackTrace();
            } catch (ExecutionException e) {
                e.printStackTrace();
            }
        }
        System.out.println("fork/join計算花費時間：" + (System.currentTimeMillis() - s) + "ms");

        s = System.currentTimeMillis();
        long sum = 0;
        for(int i = 1; i <= 100000000 ; i++) {
            sum += i;
        }
        System.out.println("計算結果：" + sum);
        System.out.println("普通計算花費時間：" + (System.currentTimeMillis() - s) + "ms");
    }
}
複製代碼

fork/join計算爲：5000000050000000 fork/join計算花費時間：53ms 計算結果：5000000050000000 普通計算花費時間：55ms

三種提交任務到ForkJoinPool的方法：

1. execute():異步執行，沒有任何返回 。
2. invoke():同步執行，調用以後須要等待任務完成，才能執行後面的代碼 。
3. submit():異步執行，當調用get方法的時候會阻塞，完成時返回一個future對象用於檢查狀態以及運行結果。

ForkJoinPool commonPool = ForkJoinPool.commonPool(); 
複製代碼

爲公共池提供一個引用，使用預約義的公共池減小了資源消耗，由於這阻礙了每一個任務建立一個單獨的線程池。

檢查任務運行的狀態

• 不管以什麼方式結束任務，isDone() 方法返回true；
• 若是完成任務過程當中沒有被取消或者發生異常，isCompletedNormally() 方法返回true；
• 若是任務被取消， isCancelled() 方法返回true；
• 若是任務被取消或者遇到異常，isCompletedAbnormally() 方法返回true

異常處理

ForkJoinTask在執行的時候可能會拋出異常，可是咱們沒辦法在主線程裏直接捕獲異常，因此ForkJoinTask提供了isCompletedAbnormally()方法來檢查任務是否已經拋出異常或已經被取消了，而且能夠經過ForkJoinTask的getException方法獲取異常。使用以下代碼：

if(task.isCompletedAbnormally()) {
    System.out.println(task.getException());
}
複製代碼

getException方法返回Throwable對象，若是任務被取消了則返回CancellationException。若是任務沒有完成或者沒有拋出異常則返回null。

與ExecutorService 的區別

Fork/Join採用「工做竊取模式」，當執行新的任務時他能夠將其拆分紅更小的任務執行，並將小任務加到線程隊列中，而後再從一個隨即線程中偷一個並把它加入本身的隊列中。

就好比兩個CPU上有不一樣的任務，這時候A已經執行完，B還有任務等待執行，這時候A就會將B隊尾的任務偷過來，加入本身的隊列中，對於傳統的線程，ForkJoin更有效的利用的CPU資源！

實現原理

ForkJoinPool由ForkJoinTask數組和ForkJoinWorkerThread數組組成，ForkJoinTask數組負責存放程序提交給ForkJoinPool的任務，而ForkJoinWorkerThread數組負責執行這些任務。

ForkJoinTask的fork方法實現原理。當咱們調用ForkJoinTask的fork方法時，程序會調用ForkJoinWorkerThread的pushTask方法異步的執行這個任務，而後當即返回結果。代碼以下：

public final ForkJoinTask fork() {
        ((ForkJoinWorkerThread) Thread.currentThread())
            .pushTask(this);
        return this;
}
複製代碼

pushTask方法把當前任務存放在ForkJoinTask 數組queue裏。而後再調用ForkJoinPool的signalWork()方法喚醒或建立一個工做線程來執行任務。代碼以下：

final void pushTask(ForkJoinTask t) {
        ForkJoinTask[] q; int s, m;
        if ((q = queue) != null) {    // ignore if queue removed
            long u = (((s = queueTop) & (m = q.length - 1)) << ASHIFT) + ABASE;
            UNSAFE.putOrderedObject(q, u, t);
            queueTop = s + 1;         // or use putOrderedInt
            if ((s -= queueBase) <= 2)
                pool.signalWork();
	else if (s == m)
                growQueue();
        }
    }
複製代碼

首先，它調用了doJoin()方法，經過doJoin()方法獲得當前任務的狀態來判斷返回什麼結果，任務狀態有四種：已完成（NORMAL），被取消（CANCELLED），信號（SIGNAL）和出現異常（EXCEPTIONAL）。

• 若是任務狀態是已完成，則直接返回任務結果。
• 若是任務狀態是被取消，則直接拋出CancellationException。
• 若是任務狀態是拋出異常，則直接拋出對應的異常。

讓咱們再來分析下doJoin()方法的實現代碼：

private int doJoin() {
        Thread t; 
    	ForkJoinWorkerThread w; 
    	int s; 
    	boolean completed;
        if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) {
            if ((s = status) < 0)
 				return s;
            if ((w = (ForkJoinWorkerThread)t).unpushTask(this)) {
                try {
                    completed = exec();
                } catch (Throwable rex) {
                    return setExceptionalCompletion(rex);
                }
                if (completed)
                    return setCompletion(NORMAL);
            }
            return w.joinTask(this);
        }
        else
            return externalAwaitDone();
    }
複製代碼

在doJoin()方法裏，首先經過查看任務的狀態，看任務是否已經執行完了，若是執行完了，則直接返回任務狀態，若是沒有執行完，則從任務數組裏取出任務並執行。若是任務順利執行完成了，則設置任務狀態爲NORMAL，若是出現異常，則紀錄異常，並將任務狀態設置爲EXCEPTIONAL。

歡迎關注個人公衆號，第一時間接收最新文章~ 搜索公衆號： 碼咖 或者 掃描下方二維碼：