Drill-On-YARN

1. Drill-On-YARN介紹

1. 功能
   • 啓動
   • 中止
   • 擴容
   • 縮容
   • failover
2. 啓動流程
   • 下載drill的社區包，進行必要的配置，執行drill-on-yarn.sh start命令，啓動drill-on-yarn客戶端
   • 客戶端
     • 上傳drill的社區包到文件系統（如：hdfs）
     • 設置啓動AM上下文，包括環境、命令、資源
     • 提交應用，啓動RM
   • RM從NM中請求一個容器，啓動AM，啓動流程
     • 將文件系統（hdfs）中的drill的社區包下載到本地，並自動解壓
     • 執行設置的命令，啓動AM
   • AM和RM協商資源，當協商到資源時（即分配到容器）
     • 設置容器啓動的上下文，包括環境、命令、資源，然啓動容器，啓動流程
       • 將文件系統（hdfs）中的drill的社區包下載到本地，並自動解壓
       • 執行啓動drillbit的命令，啓動drill
3. 中止
   • 優雅中止：取消全部任務（pending、requesting、running） -> stop容器 -> 中止NMClient -> unregisterApplicationMaster -> 中止AMRMClient
   • 強行中止： yarn客戶端直接殺死應用 yarnClient.killApplication
4. 擴容：從新執行一次請求容器，當集羣中沒有可用資源時，會一直處於等待
5. 縮容：在已經啓動的容器中，隨機選一個，執行stop
6. failover：當已經啓動容器結束時（有不少緣由，好比：drill退出），會嘗試從新發起容器請求（有重試次數限制、不必定在原地重啓拉起）

2. 啓動流程

3. 其餘功能