項目owner看這裏,MaxCompute全表掃描新功能,給你「失誤」的機會

摘要: MaxCompute發佈了「ALIAS 命令」,提供了在不修改代碼的前提下,在MapReduce或自定義函數(UDF) 代碼中,經過某個固定的資源名讀取不一樣資源(數據)的需求。html

隨着社會數據收集手段的不斷豐富及完善,愈來愈多的行業數據被積累下來。數據規模已經增加到了傳統軟件行業沒法承載的海量數據,達到百GB、TB乃至PB級別。sql

在分析海量數據場景下,因爲單臺服務器的處理能力限制,數據分析者一般採用分佈式計算模式。但分佈式的計算模型對數據分析人員提出了較高的要求,且不易維護。使用分佈式模型,數據分析人員不只須要瞭解業務需求,同時還須要熟悉底層計算模型。服務器

MaxCompute的目的是爲用戶提供一種便捷的分析處理海量數據的能力,owner能夠沒必要關心分佈式計算細節,即可達到分析大數據的目的,這樣一是減輕項目負責人的工做負擔,也同時下降了企業對海量數據處理的專業人才成本。分佈式

在使用過程當中,咱們發現用戶常常遇到這樣的問題,若是一不當心寫錯了sql,對全表作了掃描,不只影響效率還會對成本形成損失,由於對全表數據掃描是費用比較高的。函數

如今,MaxCompute發佈了「ALIAS 命令」,提供了在不修改代碼的前提下,在MapReduce或自定義函數(UDF) 代碼中,經過某個固定的資源名讀取不一樣資源(數據)的需求。大數據

其實通俗的來說就是容許項目owner對項目進行設置,能夠經過容許或不容許來保障這個項目不被作全表掃描,能夠節約成本,避免了初次使用MaxCompute的用戶或者誤操做而對全表作了掃描影響效率和成本發生。若是確實須要對全表掃描,能夠把屬性這裏改成true,完成用戶須要的全表掃描的操做。htm

具體操做以下:
以開關的形式,經過設置容許或禁止全表掃描。true爲容許,false爲禁止 項目級別控制:setproject odps.sql.allow.fullscan=false/true Session級別控制:set odps.sql.allow.fullscan=false/true資源

整體來講該功能對於項目owner來講,不只能夠避免資源浪費、控制計算成本,還能靈活應開啓全表掃描分區表。
具體操做詳情請戳這裏:
https://help.aliyun.com/document_detail/27834.htmlget

原文連接數據分析

相關文章
相關標籤/搜索