內存溢出問題的解決方案

在大數據開發測試時，可以通過分區或分桶採樣的方式。 分區針對的是固定日期，而分桶採樣則側重隨機，更具有代表性。由於第一次是全量抽取數據，所以日期分區下的數據非常龐大，此時使用分桶來進行採樣測試可以大幅提升效率。 在select之前可以添加Explain，先來查看查詢執行計劃（不是實際運行mapreduce)，可以看到分桶採樣已經生效，提高了開發和測試效率。 執行select語句進行抽樣時發現報錯（

>>阅读原文<<