使用split_size優化的ODPS SQL的場景

使用split_size優化的ODPS SQL的場景 首先有兩個大背景需要說明如下: 說明1:split_size,設定一個map的最大數據輸入量,單位M,默認256M。用戶可以通過控制這個變量,從而達到對map端輸入的控制。設置語句:set odps.sql.mapper.split.size=256。一般在調整這個設置時,往往是發現一個map instance處理的數據行數太多。 說明2:小文
相關文章
相關標籤/搜索