hive的join操做

hive的join操做

 Join的語法規則： www.2cto.com   join_table:     table_reference JOIN table_factor [join_condition]   | table_reference {LEFT|RIGHT|FULL} [OUTER]     JOIN table_reference join_condition   | table_reference LEFT SEMI JOIN       table_reference join_condition  table_reference:     table_factor   | join_table  table_factor:     tbl_name [alias]   | table_subquery alias   | ( table_references )  join_condition:     ON equality_expression ( AND equality_expression )*  equality_expression:     expression = expression Hive 只支持等值鏈接（equality joins）、外鏈接（outer joins）和（left semi joins）。   www.2cto.com  Hive 不支持全部非等值的鏈接，由於非等值鏈接很是難轉化到 map/reduce 任務。另外，Hive 支持多於 2 個表的鏈接。  join left/right outer join:必定輸出左邊/右邊的每一行對應結果（其實均可以轉換爲作鏈接） left semi join 用於實現a.key in select key from table b（即in/exist功能） 1. 只支持等值join，例如：    SELECT a.* FROM a JOIN b ON (a.id = b.id)   SELECT a.* FROM a JOIN b     ON (a.id = b.id AND a.department = b.department) 是正確的，然而:   SELECT a.* FROM a JOIN b ON (a.id  b.id) 是錯誤的。   www.2cto.com   2. 能夠 join 多於 2 個表，例如    SELECT a.val, b.val, c.val FROM a JOIN b     ON (a.key = b.key1) JOIN c ON (c.key = b.key2) 若是join中多個表的 join key 是同一個，則 join 會被轉化爲單個 map/reduce 任務，例如：   SELECT a.val, b.val, c.val FROM a JOIN b     ON (a.key = b.key1) JOIN c     ON (c.key = b.key1) 被轉化爲單個 map/reduce 任務，由於 join 中只使用了 b.key1 做爲 join key。  SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1)   JOIN c ON (c.key = b.key2) 而這一 join 被轉化爲 2 個 map/reduce 任務。由於 b.key1 用於第一次 join 條件，而 b.key2 用於第二次 join。  join 時，每次 map/reduce 任務的邏輯是這樣的：reducer 會緩存 join 序列中除了最後一個表的全部表的記錄，再經過最後一個表將結果序列化到文件系統。 這一實現有助於在 reduce 端減小內存的使用量。實踐中，應該把最大的那個表寫在最後（不然會由於緩存浪費大量內存）。例如：  SELECT a.val, b.val, c.val FROM a     JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)  全部表都使用同一個 join key（使用 1 次 map/reduce 任務計算）。Reduce 端會緩存 a 表和 b 表的記錄，而後每次取得一個 c 表的記錄就計算一次 join 結果，相似的還有：    SELECT a.val, b.val, c.val FROM a     JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)  這裏用了 2 次 map/reduce 任務。第一次緩存 a 表，用 b 表序列化；第二次緩存第一次 map/reduce 任務的結果，而後用 c 表序列化。  LEFT，RIGHT 和 FULL OUTER 關鍵字用於處理 join 中空記錄的狀況，例如：    SELECT a.val, b.val FROM a LEFT OUTER     JOIN b ON (a.key=b.key)  對應全部 a 表中的記錄都有一條記錄輸出。當 a.key=b.key 時,輸出的結果應該是 a.val, b.val;而當 b.key 中找不到等值的 a.key 記錄時也會輸出 a.val, NULL。 「FROM a LEFT OUTER JOIN b」這句必定要寫在同一行——意思是 a 表在 b 表的左邊，因此 a 表中的全部記錄都被保留了；「a RIGHT OUTER JOIN b」會保留全部 b 表的記錄。OUTER JOIN 語義應該是遵循標準 SQL spec的。  Join 發生在 WHERE 子句以前。 若是你想限制 join 的輸出，應該在 WHERE 子句中寫過濾條件——或是在 join 子句中寫。這裏面一個容易混淆的問題是表分區的狀況：    SELECT a.val, b.val FROM a   LEFT OUTER JOIN b ON (a.key=b.key)   WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'  會 join a 表到 b 表（OUTER JOIN），列出 a.val 和 b.val 的記錄。WHERE 從句中可使用其餘列做爲過濾條件。可是，如前所述，若是 b 表中找不到對應 a 表的記錄，b 表的全部列都會列出 NULL，包括 ds 列。也就是說，join 會過濾 b 表中不能找到匹配 a 表 join key 的全部記錄。這樣的話，LEFT OUTER 就使得查詢結果與 WHERE 子句無關了。解決的辦法是在 OUTER JOIN 時使用如下語法：    SELECT a.val, b.val FROM a LEFT OUTER JOIN b   ON (a.key=b.key AND       b.ds='2009-07-07' AND       a.ds='2009-07-07')  這一查詢的結果是預先在 join 階段過濾過的，因此不會存在上述問題。這一邏輯也能夠應用於 RIGHT 和 FULL 類型的 join 中。  Join 是不能交換位置的。不管是 LEFT 仍是 RIGHT join，都是左鏈接的。    SELECT a.val1, a.val2, b.val, c.val   FROM a   JOIN b ON (a.key = b.key)   LEFT OUTER JOIN c ON (a.key = c.key)   www.2cto.com  先 join a 表到 b 表，丟棄掉全部 join key 中不匹配的記錄，而後用這一中間結果和 c 表作 join。這一表述有一個不太明顯的問題，就是當一個 key 在 a 表和 c 表都存在，可是 b 表中不存在的時候：整個記錄在第一次 join，即 a JOIN b 的時候都被丟掉了（包括a.val1，a.val2和a.key），而後咱們再和 c 表 join 的時候，若是 c.key 與 a.key 或 b.key 相等，就會獲得這樣的結果：NULL, NULL, NULL, c.val。  LEFT SEMI JOIN 是 IN/EXISTS 子查詢的一種更高效的實現。 Hive 當前沒有實現 IN/EXISTS 子查詢，因此你能夠用 LEFT SEMI JOIN 重寫你的子查詢語句。LEFT SEMI JOIN 的限制是， JOIN 子句中右邊的表只能在 ON 子句中設置過濾條件，在 WHERE 子句、SELECT 子句或其餘地方過濾都不行。    SELECT a.key, a.value   FROM a   WHERE a.key in    (SELECT b.key     FROM B); 能夠被重寫爲：    SELECT a.key, a.val 

   FROM a LEFT SEMI JOIN b on (a.key = b.key)