hive join

語法

join_table:

    table_reference JOIN table_factor [join_condition]

  | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition

  | table_reference LEFT SEMI JOIN  table_reference join_condition

 

table_reference:

    table_factor

  | join_table

 

table_factor:

    tbl_name [alias]

  | table_subquery alias

  | ( table_references )

 

join_condition:

    ON equality_expression ( AND equality_expression )*

 

equality_expression:

    expression = expression

Hive 只支持等值鏈接（equality joins）、外鏈接（outer joins）和（left/right joins）。Hive 不支持全部非等值的鏈接，由於非等值鏈接很是難轉化到 map/reduce 任務。另外，Hive 支持多於 2 個表的鏈接。

寫 join 查詢時，須要注意幾個關鍵點：

一、只支持等值join

例如：

  SELECT a.* FROM a JOIN b ON (a.id = b.id)

  SELECT a.* FROM a JOIN b

    ON (a.id = b.id AND a.department = b.department)

是正確的，然而:

  SELECT a.* FROM a JOIN b ON (a.id  b.id)

是錯誤的。

 

1. 能夠 join 多於 2 個表。

例如

  SELECT a.val, b.val, c.val FROM a JOIN b

    ON (a.key = b.key1) JOIN c ON (c.key = b.key2)

若是join中多個表的 join key 是同一個，則 join 會被轉化爲單個 map/reduce 任務，例如：

  SELECT a.val, b.val, c.val FROM a JOIN b

    ON (a.key = b.key1) JOIN c

    ON (c.key = b.key1)

被轉化爲單個 map/reduce 任務，由於 join 中只使用了 b.key1 做爲 join key。

SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1)

  JOIN c ON (c.key = b.key2)

而這一 join 被轉化爲 2 個 map/reduce 任務。由於 b.key1 用於第一次 join 條件，而 b.key2 用於第二次 join。

  

3．join 時，每次 map/reduce 任務的邏輯：

    reducer 會緩存 join 序列中除了最後一個表的全部表的記錄，再經過最後一個表將結果序列化到文件系統。這一實現有助於在 reduce 端減小內存的使用量。實踐中，應該把最大的那個表寫在最後（不然會由於緩存浪費大量內存）。例如：

 SELECT a.val, b.val, c.val FROM a

    JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)

全部表都使用同一個 join key（使用 1 次 map/reduce 任務計算）。Reduce 端會緩存 a 表和 b 表的記錄，而後每次取得一個 c 表的記錄就計算一次 join 結果，相似的還有：

  SELECT a.val, b.val, c.val FROM a

    JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)

這裏用了 2 次 map/reduce 任務。第一次緩存 a 表，用 b 表序列化；第二次緩存第一次 map/reduce 任務的結果，而後用 c 表序列化。

 

4．LEFT，RIGHT 和 FULL OUTER 關鍵字用於處理 join 中空記錄的狀況。

例如：

  SELECT a.val, b.val FROM a LEFT OUTER

    JOIN b ON (a.key=b.key)

對應全部 a 表中的記錄都有一條記錄輸出。輸出的結果應該是 a.val, b.val，當 a.key=b.key 時，而當 b.key 中找不到等值的 a.key 記錄時也會輸出 a.val, NULL。「FROM a LEFT OUTER JOIN b」這句必定要寫在同一行——意思是 a 表在 b 表的左邊，因此 a 表中的全部記錄都被保留了；「a RIGHT OUTER JOIN b」會保留全部 b 表的記錄。OUTER JOIN 語義應該是遵循標準 SQL spec的。

Join 發生在 WHERE 子句以前。若是你想限制 join 的輸出，應該在 WHERE 子句中寫過濾條件——或是在 join 子句中寫。這裏面一個容易混淆的問題是表分區的狀況：

  SELECT a.val, b.val FROM a

  LEFT OUTER JOIN b ON (a.key=b.key)

  WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'

會 join a 表到 b 表（OUTER JOIN），列出 a.val 和 b.val 的記錄。WHERE 從句中可使用其餘列做爲過濾條件。可是，如前所述，若是 b 表中找不到對應 a 表的記錄，b 表的全部列都會列出 NULL，包括 ds 列。也就是說，join 會過濾 b 表中不能找到匹配 a 表 join key 的全部記錄。這樣的話，LEFT OUTER 就使得查詢結果與 WHERE 子句無關了。解決的辦法是在 OUTER JOIN 時使用如下語法：

  SELECT a.val, b.val FROM a LEFT OUTER JOIN b

  ON (a.key=b.key AND

      b.ds='2009-07-07' AND

      a.ds='2009-07-07')

這一查詢的結果是預先在 join 階段過濾過的，因此不會存在上述問題。這一邏輯也能夠應用於 RIGHT 和 FULL 類型的 join 中。

Join 是不能交換位置的。不管是 LEFT 仍是 RIGHT join，都是左鏈接的。

  SELECT a.val1, a.val2, b.val, c.val

  FROM a

  JOIN b ON (a.key = b.key)

  LEFT OUTER JOIN c ON (a.key = c.key)

先 join a 表到 b 表，丟棄掉全部 join key 中不匹配的記錄，而後用這一中間結果和 c 表作 join。這一表述有一個不太明顯的問題，就是當一個 key 在 a 表和 c 表都存在，可是 b 表中不存在的時候：整個記錄在第一次 join，即 a JOIN b 的時候都被丟掉了（包括a.val1，a.val2和a.key），而後咱們再和 c 表 join 的時候，若是 c.key 與 a.key 或 b.key 相等，就會獲得這樣的結果：NULL, NULL, NULL, c.val。

 

5．LEFT SEMI JOIN  是 IN/EXISTS 子查詢的一種更高效的實現。Hive 當前沒有實現 IN/EXISTS 子查詢，因此你能夠用 LEFT SEMI JOIN 重寫你的子查詢語句。LEFT SEMI JOIN 的限制是， JOIN 子句中右邊的表只能在 ON 子句中設置過濾條件，在 WHERE 子句、SELECT 子句或其餘地方過濾都不行。

  SELECT a.key, a.value

  FROM a

  WHERE a.key in

   (SELECT b.key

    FROM B);

能夠被重寫爲：

   SELECT a.key, a.val

   FROM a LEFT SEMI JOIN b on (a.key = b.key)