延遲調度總結

流式計算的調度複雜性在於須要考慮公平性和數據本地化。

FIFO調度
FIFO是一個簡單的調度策略，適合用於做業併發少，或者無做業併發，且做業的map任務數量大，最好是大於等於集羣的slot數量。FIFO調度中經典的兩個問題

head-of-line
小做業，多做業併發的場景，量化數據本地化的公式爲，爲總的slot，爲map任務須要的slot

sticky slots
大做業，多做業併發，slot數量小於總做業所需的slot數。做業能達到的最大本地化是

延遲調度
適用於大做業、適用於小做業、適用於長做業。延遲調度是一個綜合表現比較好的調度策略。注意：大量做業併發也會存在數據本地化偏低的狀況。

Hadoop延遲調試

1. 多級延遲調度

2. map任務作延遲調度，reduce任務不作延遲調度

3. 本地化公式：=73%

D：每秒能釋放的slot=S/T