<續>調度算法補充

cpmpute->executors:

  • 1.從storm配置獲取<compoent-id,parallelism>集合
  • 2.storm-task-info 得到<task-id, compoent-id>集合
  • 3.將集合處理爲 [compoent-id, tasks]
  • 4.將<compoent-id,parallelism>和<compoent-id,tasks> join獲得<compoent-id,[parallelism,tasks]>
  • 5.根據[parallelism,tasks]將task均分到數目爲parallelism的分區,返回每一個parallelism的[task-1,task-2,...]
  • 6.將返回的轉換爲executor集合[start-task-id,end-task-id]

get-alive-assigned-node+port -> executors:

  • 1.得到當前topology的assignment
  • 2.如不爲空,則得到其中的<executors,slot>
  • 3.轉化爲[executors,[node,port]]
  • 4.再次轉化爲<[node,port],executors>
  • 5.返回結果

sort-slots:

  • 1.將全部可用的slots做爲參數傳入
  • 2.根據supervisor-id進行分組排序
  • 3.調用intervel-all方法對分組排序後的結果結合colls進行處理
    • 1 colls不爲空,則調用map first方法對集合處理:遍歷colls,取每一個supervisor的第一條記錄,加入到my-elments中。
    • 2 遞歸調用interval-all處理剩下的集合。

參見下圖:
node

bad-slots:

  • 1.參數須要:此topology已經分配的資源existing-slots、此topology的全部
    的executor、此topology可以使用的slot數目
  • 2.根據executer數和可以使用的slot數計算出一個<executor-count,slot-count>,executor-count表示一個slot裏面的executor數目,slot-count表示這樣的slot有多少個。好比 10個executor ,4個slot可能的計算結果爲<2,2>,<3,2>
  • 3.再根據傳入的existing-slots中的每一項計算其executor-count
    • 把計算獲得的executor-count做爲鍵去集合<executor-count,slot-count>裏面取,若是找到的值大於0,說明存在這樣的分配,保持這樣的分配,將其加入到keeps中,對應的slot-count的值減一,繼續下一個計算
  • 4.遍歷完existing-slots集合後,可能會未加入keeps集合的元素,此時這些就是能夠被釋放的資源。具體作法就是:existing-slots和keeps作差值,剩下的,就能夠釋放。做爲結果返回。
相關文章
相關標籤/搜索