高通量計算框架HTCondor(二)——環境配置

目錄

• 1. 概述
• 2. 安裝
• 3. 結果
• 4. 相關

1. 概述

HTCondor是開源跨平臺的分佈式計算框架，在其官網上直接提供了源代碼和Windows、Linux以及MacOS的安裝包。由於平臺限制的緣由，在Windows下的功能是有所限制的，但其使用也是最直觀方便的。爲了更加便於瞭解使用狀況，這裏我仍是採用Windows，建議後期有更多的需求或者基礎足夠好，能夠直接上Linux。

2. 安裝

在HTCondor官網上下載Windows安裝包，直接打開運行：

點擊"Next"，顯示用戶協議界面：

勾選"I accept terms in the License Agreement"，點擊"Next"，進入「建立/加入HTCondor Pool」界面：

對於一組HTCondor Pool，只能有一箇中央管理主機（Central Manager），通常要在這個管理中心主機上建立HTCondor Pool，這個機器是集羣/網絡內計算資源的集中信息庫，全部的任務調度工做都會與這臺主機相關聯，因此中央管理主機應該選擇比較穩定的機器。如上圖所示，在中央管理主機上建立HTCondor Pool，並將其命名爲「HTC_Host」。

可是對於想要鏈接到HTCondor Pool機器，應該勾選「Join an existing HTCondor Pool」，在"Hostname of Central Manager"中填入中央管理主機的IP地址。

點擊"Next"，進入「配置執行和提交表現」頁面：

這個頁面主要用來配置是否容許該機器提交任務，以及採起何種方式提交任務。勾選"Submit jobs to HTCondor Pool"表示容許該機器提交任務，勾選"Always run jobs and never suspend them"表示隨時能夠運行任務，而且該機器的任何主動操做都不會打斷它。固然也能夠根據實際狀況選擇其餘的任務策略。

接下來三個配置頁，由於暫時沒有用到，均可以保持默認：

以後是「主機權限設置」頁面，理論上這個配置項也能夠保持默認便可。但以前入坑過一個問題，在鏈接一臺XP系統的分機時，主機的寫權限的默認設置會形成沒法連入的問題。但那個問題已經挺古老了，新的版本也沒有具體去求證，我這裏把主機的寫權限直接設置爲全部，應該能夠覆蓋以前的設置，能夠保證正常使用：

點擊"Next"，保持默認設置：

最後是設置HTCondor的安裝目錄，這個目錄是任務程序的運行環境，能夠設置成你認爲合適的目錄。因爲任務運行是可能會附帶傳送過來的數據，注意安裝目錄的磁盤要留下足夠的空間。

接下來點擊"Install"，等待程序自動安裝：

安裝完成後，點擊"Finish"並重啓，HTCondor的環境就搭建完成了。

3. 結果

分別在兩臺機器上安裝HTCondor環境，一臺做爲HTCondor Pool的中央管理主機，一臺做爲普通任務機。分別在兩臺機器的CMD上運行condor_status命令，能夠看到以下所示的結果：

這裏面連入了兩臺機器，172_17_0_3是購買的雲服務主機，因此配置比較差，只有一核；對於具備四核的普通主機，就是形如slot1@name的名稱了。

在集羣/網絡全部的機器上都能互相看到計算機資源，就說明HTCondor的環境搭建是正確的。

4. 相關

上一篇
目錄 下一篇