解決spark sql關聯(join)查詢使用「or「緩慢的問題

1.需求描述 將a表的數據與b表的兩個字段進行關聯，輸出結果web a表數據約24億條sql b表數據約30萬條json 2.優化效果 優化後執行時間從數天減小到數分鐘緩存 3.資源配置 spark 1.4.1app 200core,600G RAMsvg 4.代碼簡化版（優化前） sqlContext.sql("name,ip1,ip2 as ip from table_A where name

>>阅读原文<<