HAWQ集成Yarn HA做爲資源管理服務

1、第一步固然是配置YARN HA，這在使用ambari管理時很簡單，這裏不在贅述。

2、創建HAWQ的專用資源隊列queue

不要手工編輯scheduler設置，最方便的固然是使用queue manager，入口看圖。

添加一個hawq_queue

3、重啓受影響的yarn服務

添加或修改queue以後，ambari管理界面中會有提示，點擊重啓便可。

4、編輯hawq的配置文件

1，修改hawq-site.xml中hawq_global_rm_type值爲yarn

        <property>
                <name>hawq_global_rm_type</name>
                <value>yarn</value>
                <description>The resource manager type to start for allocating resource.
                                         'none' means hawq resource manager exclusively uses whole
                                         cluster; 'yarn' means hawq resource manager contacts YARN
                                         resource manager to negotiate resource.
                </description>
        </property>

其餘的hawq_rm_*相關鍵值不用動，由於配置yarn HA模式時無用，須要修改yarn_client.xml中HA相關配置。

2，修改yarn-client.xml中HA相關配置

<!-- HA  -->
        <property>
                <name>yarn.resourcemanager.ha</name>
                <value>ep-bd05:8032,ep-bd01:8032</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.ha</name>
                <value>ep-bd05:8030,ep-bd01:8030</value>
        </property>
<!-- end HA -->

注意active RM節點寫在前面，能夠減小網絡訪問時間！

3，分發修改後配置文件到各個節點

cd /opt/gpadmin/apache-hawq/etc
gpscp -f slaves hawq-site.xml =:/opt/gpadmin/apache-hawq/etc/.
gpscp -f slaves yarn-client.xml =:/opt/gpadmin/apache-hawq/etc/.

4、在HAWQ主節點上從新啓動hawq cluster

su - gpadmin
hawq restart cluster -a

5、兩個注意事項：

1，HDP集羣，在ambari中啓用YARN HA後，RM服務端口沒有配置，在配置文件中看不到，文件中只有未啓用HA以前的單節點端口地址，例如我這裏是：

<property>
      <name>yarn.resourcemanager.address</name>
      <value>ep-bd01:8050</value>
</property>

這個並非啓用HA後RM的端口，實際上應該查找配置項

yarn.resourcemanager.address.rm1

因爲沒有此項配置，因此我這裏的HA rm的端口號是默認的端口號8032，這個須要注意。

2，啓用yarn RM管理後，每一個hawq 的segment節點，都須要配套nodemanager服務，不然不能與rm通信，沒有安裝的須要在ambari管理界面中添加。 使用hawq本身管理資源時固然是不須要的。