<續>調度算法補充
cpmpute->executors:
- 1.從storm配置獲取<compoent-id,parallelism>集合
- 2.storm-task-info 得到<task-id, compoent-id>集合
- 3.將集合處理爲 [compoent-id, tasks]
- 4.將<compoent-id,parallelism>和<compoent-id,tasks> join獲得<compoent-id,[parallelism,tasks]>
- 5.根據[parallelism,tasks]將task均分到數目爲parallelism的分區,返回每一個parallelism的[task-1,task-2,...]
- 6.將返回的轉換爲executor集合[start-task-id,end-task-id]
get-alive-assigned-node+port -> executors:
- 1.得到當前topology的assignment
- 2.如不爲空,則得到其中的<executors,slot>
- 3.轉化爲[executors,[node,port]]
- 4.再次轉化爲<[node,port],executors>
- 5.返回結果
sort-slots:
- 1.將全部可用的slots做爲參數傳入
- 2.根據supervisor-id進行分組排序
- 3.調用intervel-all方法對分組排序後的結果結合colls進行處理
1
colls不爲空,則調用map first方法對集合處理:遍歷colls,取每一個supervisor的第一條記錄,加入到my-elments中。
2
遞歸調用interval-all處理剩下的集合。
參見下圖:
node
bad-slots:
- 1.參數須要:此topology已經分配的資源existing-slots、此topology的全部
的executor、此topology可以使用的slot數目
- 2.根據executer數和可以使用的slot數計算出一個<executor-count,slot-count>,executor-count表示一個slot裏面的executor數目,slot-count表示這樣的slot有多少個。好比 10個executor ,4個slot可能的計算結果爲<2,2>,<3,2>
- 3.再根據傳入的existing-slots中的每一項計算其executor-count
- 把計算獲得的executor-count做爲鍵去集合<executor-count,slot-count>裏面取,若是找到的值大於0,說明存在這樣的分配,保持這樣的分配,將其加入到keeps中,對應的slot-count的值減一,繼續下一個計算
- 4.遍歷完existing-slots集合後,可能會未加入keeps集合的元素,此時這些就是能夠被釋放的資源。具體作法就是:existing-slots和keeps作差值,剩下的,就能夠釋放。做爲結果返回。
歡迎關注本站公眾號,獲取更多信息