給 Spark2.2 加上自定義 Hint 優化

因爲咱們底層數據存的類型是String,因此在作比較或排序時,數據計算錯誤。好比 「9」 比 「10」 大。爲了只對比較的字段 cast 成 Double,老大突發奇想:在 Hint 傳入須要轉換字段名,而後 Analyzer 作計算的判斷,將指定數據 cast 成 Double。node 在Spark2.2中,增長了對Hint的解析,支持用戶broadcast hint。本文的目的是在 Anal
相關文章
相關標籤/搜索