在開發spark程序中,sqlContext函數不能完全實現業務邏輯,所以會引入hiveContext,解決TOP_N問題

異常報錯:   問題描述: 在開發spark程序中,sqlContext函數不能完全實現業務邏輯,所以會引入hiveContext,(用hiveContext中的開窗函數TOP-N)。 原因分析: 在SQLContext上下文是不支持開窗函數的,用他來解決TOP-N問題,寫的sql有點複雜,執行效率相對較低,可使用HiveContext,使用row_number() over(partition
相關文章
相關標籤/搜索