永洪產品Impala數據源的高級屬性功能講解

在上一篇咱們講到了業務人員能夠用永洪產品的自服務數據集進行自助式分析,那麼IT管理員如何管理業務人員進行分析呢?數據庫

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

某財險類客戶案例
永洪的某財險客戶須要業務用戶進行自助式分析,高峯期在350併發以上,企業IT管理部但願對全部IT人員和業務人員查詢數據的數據量大小優先級進行管控,而後讓業務用戶進行自助式分析。session

如何設置?併發

由於該財險公司已經將數據存儲在了Cloudera Impala集羣中。該財險的IT管理部門會根據每個用戶的數據量大小、業務類型分配隊列,而且詳細設置該隊列中的默認查詢參數,尤爲是mem_limit參數和最大併發數,這樣能夠較好的限制用戶之間的影響,爲了不惡意用戶的使用,能夠限制用戶本身設置mem_limit參數,儘量得保證Impala集羣的穩定性。
一、在Impala數據庫層面,IT管理員或者DBA能夠在session創建以後進行設置。spa

設置隊列限制隊列

set request_pool = queue_it; 內存

用戶在建立一個數據源鏈接(connection)以後,能夠經過set request_pool=pool_name的方式設置改session的請求提交的對應的隊列。資源

設置最大內存使用限制rem

set mem_limit=10G;數據分析

設置內存10G(單節點上的內存量),impala常常會over estimate SQL語句須要的資源,因此強烈建議在執行SQL以前,使用 set mem_limit 限制SQL查詢的內存消耗。產品

二、永洪產品設置

提供了在數據源鏈接後對session進行設置的屬性。

針對於不一樣2種類的用戶,IT管理員指望根據數據量大小、業務類型設置分配的隊列。

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

實現步驟:

選擇永洪產品數據源,impala:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

在設置好Impala數據源的基礎鏈接信息後,選擇數據源的高級屬性進行如圖設置。

直接在隊列名設置queue_it , 而且點擊添加高級屬性限制mem_limit=2G。

以下所示,IT部門的數據源爲Impala_it,設置以下:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

財務部門的數據源Impala_finance,設置以下:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

二者存儲在數據源上的資源樹上,以下圖所示:

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

財險部門的用戶(user_finance)在製做數據集時直接選擇對應的數據源便可查詢數據。

企業想要實現數據管控,永洪Impala數據源的高級屬性瞭解下

以上就是關於永洪產品Impala數據源的高級屬性的使用介紹,永洪科技強大的產品功能,不只能夠幫助企業人員實現數據化管理,也讓更多業務人員可以進行自助式分析查詢。關於永洪產品的功能介紹,咱們將持續更新。想體驗永洪科技數據分析強大的功能,能夠下載Yonghong Desktop進行一鍵安裝體驗。

相關文章
相關標籤/搜索