使用Spark SQL的臨時表解決一個小問題

最近在使用spark處理一個業務場景時，遇到一個小問題，我在scala代碼裏，使用spark sql訪問hive的表，而後根據一批id把須要的數據過濾出來，原本是很是簡單的需求直接使用下面的僞SQL便可：sql select * from table where id in (id1,id2,id3,id4,idn) 但如今遇到的問題是id條件比較多，大概有幾萬個，這樣量級的in是確定會出錯的，看

>>阅读原文<<