Hive-1.1.0的注意事項之transform的坑

曾經爲貪圖方便使用Hive的tranform來實現了一些對數據的處理邏輯，可是以後發現各類坑啊，，，，，，以下：       經過大量的數據實驗發現：在數據清洗過程當中，若是使用的是TransForm而不是UDF的話，由於Python是直接向系統申請資源的，而不是像ResourceManager申請資源，故會致使啓動的Python腳本對內存和CPU的使用不可控，尤爲是當啓動多個Map時，由於一個m

>>阅读原文<<