高通量計算框架HTCondor(一)——概述

目錄

• 1. 正文
• 2. 目錄
• 3. 參考
• 4. 相關

1. 正文

HTCondor是威斯康星大學麥迪遜分校構建的分佈式計算軟件和相關技術，用來處理高通量計算（High Throughput Computing ）的相關問題。高通量計算中的Throughput應該是吞吐量的意思，也就是調度計算機資源的能力。與高性能計算（HPC）不一樣，高通量計算（HTC）應對的問題是在高性能的同時可以長時間穩定運行的能力，並充分利用集羣或網絡內計算資源。長時間計算時，集羣或網絡內計算資源每每是不可靠的，這中間蘊含了計算資源管理和任務調度的問題。

具體來講，HTC的思想就是將規模的密集運算拆分紅一個個的子任務，交給集羣計算機運算。HTCondor提供了以下功能：

1. 發佈任務：根據設定的集羣內計算資源條件，將任務發佈到集羣計算機。
2. 調度任務：任務可以發送到知足條件計算機中運行，或者遷移到另一臺計算機。
3. 監視任務：隨時監視任務運行的狀況和計算資源的狀況。
   注意拆分任務這一步仍是須要用戶本身控制的，拆分合適粒度的並行任務，有助於最大程度的負載均衡。

除此以外，一個不能忽視的的問題就是磁盤IO的問題。HTC每每伴隨着海量數據，巨量數據的磁盤IO一定會形成性能瓶頸。HTCondor自帶了一種文件傳輸機制，發佈任務的時候可以自動將數據發送到對應的機器中運行。固然，也能夠嘗試搭配分佈式文件系統如hdfs進行計算。

準備在這一系列博文中，經過一個具體的實例，總結下HTCondor的使用過程，也算對分佈式計算或者集羣計算有個感性的認識。

2. 目錄

1.高通量計算框架HTCondor(一)——概述
簡要介紹了高通量分佈式計算與HTCondor。
2.高通量計算框架HTCondor(二)——環境配置
詳細展現了HTCondor環境的搭建過程。

3. 參考

[1]. 說說高通量計算(HTC)、高性能計算(HPC)和多任務計算(MTC)
[2]. HTCondor官網
[3]. Hadoop究竟是幹什麼用的?

4. 相關

下一篇