Fork/Join框架介紹

時間 2019-12-06

標籤 fork join 框架介紹欄目 Apache 简体版

原文原文鏈接

1. 什麼是Fork/Join框架

Fork/Join框架是Java7提供了的一個用於並行執行任務的框架，是一個把大任務分割成若干個小任務，最終彙總每一個小任務結果後獲得大任務結果的框架。java

咱們再經過Fork和Join這兩個單詞來理解下Fork/Join框架，Fork就是把一個大任務切分爲若干子任務並行的執行，Join就是合併這些子任務的執行結果，最後獲得這個大任務的結果。好比計算1+2+。。＋10000，能夠分割成10個子任務，每一個子任務分別對1000個數進行求和，最終彙總這10個子任務的結果。Fork/Join的運行流程圖以下：算法

2. 工做竊取算法

工做竊取（work-stealing）算法是指某個線程從其餘隊列裏竊取任務來執行。工做竊取的運行流程圖以下：數組

那麼爲何須要使用工做竊取算法呢？假如咱們須要作一個比較大的任務，咱們能夠把這個任務分割爲若干互不依賴的子任務，爲了減小線程間的競爭，因而把這些子任務分別放到不一樣的隊列裏，併爲每一個隊列建立一個單獨的線程來執行隊列裏的任務，線程和隊列一一對應，好比A線程負責處理A隊列裏的任務。可是有的線程會先把本身隊列裏的任務幹完，而其餘線程對應的隊列裏還有任務等待處理。幹完活的線程與其等着，不如去幫其餘線程幹活，因而它就去其餘線程的隊列裏竊取一個任務來執行。而在這時它們會訪問同一個隊列，因此爲了減小竊取任務線程和被竊取任務線程之間的競爭，一般會使用雙端隊列，被竊取任務線程永遠從雙端隊列的頭部拿任務執行，而竊取任務的線程永遠從雙端隊列的尾部拿任務執行。框架

工做竊取算法的優勢是充分利用線程進行並行計算，並減小了線程間的競爭，其缺點是在某些狀況下仍是存在競爭，好比雙端隊列裏只有一個任務時。而且消耗了更多的系統資源，好比建立多個線程和多個雙端隊列。異步

3. Fork/Join框架的介紹

咱們已經很清楚Fork/Join框架的需求了，那麼咱們能夠思考一下，若是讓咱們來設計一個Fork/Join框架，該如何設計？這個思考有助於你理解Fork/Join框架的設計。ide

第一步分割任務。首先咱們須要有一個fork類來把大任務分割成子任務，有可能子任務仍是很大，因此還須要不停的分割，直到分割出的子任務足夠小。this

第二步執行任務併合並結果。分割的子任務分別放在雙端隊列裏，而後幾個啓動線程分別從雙端隊列裏獲取任務執行。子任務執行完的結果都統一放在一個隊列裏，啓動一個線程從隊列裏拿數據，而後合併這些數據。線程

Fork/Join使用兩個類來完成以上兩件事情：設計

ForkJoinTask：咱們要使用ForkJoin框架，必須首先建立一個ForkJoin任務。它提供在任務中執行fork()和join()操做的機制，一般狀況下咱們不須要直接繼承ForkJoinTask類，而只須要繼承它的子類，Fork/Join框架提供瞭如下兩個子類： RecursiveAction：用於沒有返回結果的任務。 RecursiveTask ：用於有返回結果的任務。 ForkJoinPool ：ForkJoinTask須要經過ForkJoinPool來執行，任務分割出的子任務會添加到當前工做線程所維護的雙端隊列中，進入隊列的頭部。當一個工做線程的隊列裏暫時沒有任務時，它會隨機從其餘工做線程的隊列的尾部獲取一個任務。code

4. 使用Fork/Join框架

讓咱們經過一個簡單的需求來使用下Fork／Join框架，需求是：計算1+2+3+4的結果。

使用Fork／Join框架首先要考慮到的是如何分割任務，若是咱們但願每一個子任務最多執行兩個數的相加，那麼咱們設置分割的閾值是2，因爲是4個數字相加，因此Fork／Join框架會把這個任務fork成兩個子任務，子任務一負責計算1+2，子任務二負責計算3+4，而後再join兩個子任務的結果。

由於是有結果的任務，因此必須繼承RecursiveTask，實現代碼以下：

import java.util.concurrent.ExecutionException;
import java.util.concurrent.ForkJoinPool;
import java.util.concurrent.Future;
import java.util.concurrent.RecursiveTask;

public class CountTask extends RecursiveTask <Long>{

    /** 
     * @Fields serialVersionUID : TODO(用一句話描述這個變量表示什麼) 
     */ 
    private static final long serialVersionUID = -3445721315367334365L;
    private static final int THRESHOLD=2;
    private int start;
    private int end;
    
    public CountTask(int s,int e){
        this.start=s;
        this.end=e;
    }
    
    
    @Override
    protected Long compute() {
        Long sum=0L;
        if((end-start)<=THRESHOLD){
            for(int i=start;i<=end;i++){
                sum+=(int)Math.pow(i, 1/3);
                try {
                    Thread.currentThread().sleep(100);
                } catch (InterruptedException e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            }
        }
        else{
            int middle=(start+end)/2;
            CountTask leftTask=new CountTask(start,middle);
            CountTask rightTask=new CountTask(middle+1,end);
            leftTask.fork();
            rightTask.fork();
            
            Long leftResult=leftTask.join();
            Long rightResult=rightTask.join();
            sum=leftResult+rightResult;
            
        }
        return sum;
    }
    
    public static void main(String args[]){
        int start=1;
        int end=90;
        Long startTime=System.currentTimeMillis();
        ForkJoinPool forkJoinPool=new ForkJoinPool();
        CountTask task=new CountTask(start,end);
        Future<Long> result=forkJoinPool.submit(task);
        try {
            System.out.println(result.get());
        } catch (InterruptedException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        } catch (ExecutionException e) {
            // TODO Auto-generated catch block
            e.printStackTrace();
        }

        Long endTime1=System.currentTimeMillis();
        System.out.println(endTime1-startTime);
        Long total=0L;
        for(int i=start;i<=end;i++){
            total+=(int)Math.pow(i, 1/3);
            try {
                Thread.currentThread().sleep(100);
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        Long endTime2=System.currentTimeMillis();
        System.out.println("total:"+total+"  "+(endTime2-endTime1));
    }

}

這裏使用sleep(100)來模擬程序執行，輸出結果以下

90
4348
total:90  9493

經過這個例子讓咱們再來進一步瞭解ForkJoinTask，ForkJoinTask與通常的任務的主要區別在於它須要實現compute方法，在這個方法裏，首先須要判斷任務是否足夠小，若是足夠小就直接執行任務。若是不足夠小，就必須分割成兩個子任務，每一個子任務在調用fork方法時，又會進入compute方法，看看當前子任務是否須要繼續分割成孫任務，若是不須要繼續分割，則執行當前子任務並返回結果。使用join方法會等待子任務執行完並獲得其結果。

5. Fork/Join框架的異常處理

ForkJoinTask在執行的時候可能會拋出異常，可是咱們沒辦法在主線程裏直接捕獲異常，因此ForkJoinTask提供了isCompletedAbnormally()方法來檢查任務是否已經拋出異常或已經被取消了，而且能夠經過ForkJoinTask的getException方法獲取異常。使用以下代碼：

if(task.isCompletedAbnormally())
{
    System.out.println(task.getException());
}

getException方法返回Throwable對象，若是任務被取消了則返回CancellationException。若是任務沒有完成或者沒有拋出異常則返回null。

6. Fork/Join框架的實現原理

ForkJoinPool由ForkJoinTask數組和ForkJoinWorkerThread數組組成，ForkJoinTask數組負責存放程序提交給ForkJoinPool的任務，而ForkJoinWorkerThread數組負責執行這些任務。

ForkJoinTask的fork方法實現原理。當咱們調用ForkJoinTask的fork方法時，程序會調用ForkJoinWorkerThread的pushTask方法異步的執行這個任務，而後當即返回結果。代碼以下：

public final ForkJoinTask fork() { ((ForkJoinWorkerThread) Thread.currentThread()) .pushTask(this); return this; } pushTask方法把當前任務存放在ForkJoinTask 數組queue裏。而後再調用ForkJoinPool的signalWork()方法喚醒或建立一個工做線程來執行任務。代碼以下：

final void pushTask(ForkJoinTask t) {
        ForkJoinTask[] q; int s, m;
        if ((q = queue) != null) {    // ignore if queue removed
            long u = (((s = queueTop) & (m = q.length - 1)) << ASHIFT) + ABASE;
            UNSAFE.putOrderedObject(q, u, t);
            queueTop = s + 1;         // or use putOrderedInt
            if ((s -= queueBase) <= 2)
                pool.signalWork();
	else if (s == m)
                growQueue();
        }
    }

ForkJoinTask的join方法實現原理。Join方法的主要做用是阻塞當前線程並等待獲取結果。讓咱們一塊兒看看ForkJoinTask的join方法的實現，代碼以下：

public final V join() { if (doJoin() != NORMAL) return reportResult(); else return getRawResult(); } private V reportResult() { int s; Throwable ex; if ((s = status) == CANCELLED) throw new CancellationException(); if (s == EXCEPTIONAL && (ex = getThrowableException()) != null) UNSAFE.throwException(ex); return getRawResult(); } 首先，它調用了doJoin()方法，經過doJoin()方法獲得當前任務的狀態來判斷返回什麼結果，任務狀態有四種：已完成（NORMAL），被取消（CANCELLED），信號（SIGNAL）和出現異常（EXCEPTIONAL）。

若是任務狀態是已完成，則直接返回任務結果。若是任務狀態是被取消，則直接拋出CancellationException。若是任務狀態是拋出異常，則直接拋出對應的異常。讓咱們再來分析下doJoin()方法的實現代碼：

private int doJoin() {
        Thread t; ForkJoinWorkerThread w; int s; boolean completed;
        if ((t = Thread.currentThread()) instanceof ForkJoinWorkerThread) {
            if ((s = status) < 0)
 return s;
            if ((w = (ForkJoinWorkerThread)t).unpushTask(this)) {
                try {
                    completed = exec();
                } catch (Throwable rex) {
                    return setExceptionalCompletion(rex);
                }
                if (completed)
                    return setCompletion(NORMAL);
            }
            return w.joinTask(this);
        }
        else
            return externalAwaitDone();
    }

在doJoin()方法裏，首先經過查看任務的狀態，看任務是否已經執行完了，若是執行完了，則直接返回任務狀態，若是沒有執行完，則從任務數組裏取出任務並執行。若是任務順利執行完成了，則設置任務狀態爲NORMAL，若是出現異常，則紀錄異常，並將任務狀態設置爲EXCEPTIONAL。