Spark、Hadoop實際操作使用

故事是這樣子的：PM說需要將一批線下數據文件（只存放baidu_code），需要通過baidu_code查詢數據獲取基本信息（V00001）以及股東信息(C00004)，最後拼接成新的數據。 一開始：我想着從數據庫直接查詢sql語句不就可以了嗎？簡單的很。 但是我說了我的想法之後被老大果斷丟棄掉了（這批數據量很大，而且還的在線上查詢，這樣對數據庫影響很大），於是告訴了我瞭解一下：hadoop、sp

>>阅读原文<<