spark range join 優化

文章目錄 背景 native join 解決方法 結論 參考 背景 一張ip表，一張ip地理信息表，地理信息表每條數據包含了ip地址的起點和終點以及一些地理信息, 須要用 ip 去關聯 gep_ip 中匹配相應的信息 。python 例如： 數據條數爲 50 M 的表 ip_record，數據格式大體以下:web ip_int info 123456789 xx 987654321 xx 數據條數

>>阅读原文<<