spark調用udf性能優化

背景 定義了一個udf，用於信息解密，請求的是公司內部解密服務，解密服務部署了兩臺機器，隨機請求。調用udf時，傳入密文，輸出明文。數倉每天有在用，且批量調用，沒有性能問題。 最近新上線一個數據需求，發現卡在瞭解密udf，要30-40分鐘。 原因 1.看解密服務完全沒有壓力，跑批的時候cpu使用率可以達到4000-5000%，現在只有100%左右。 2.看yarn資源分配也沒有問題，嘗試參數調優有

>>阅读原文<<