大數據教程（12.1）hive中SQL操做補充知識

 上一篇博客分享了hive的基礎操做知識，本節博主將繼續補充分享一些hive的SQL操做知識。

 1、保存select查詢結果的幾種方式：

一、將查詢結果保存到一張新的hive表中
create table t_tmp
as
select * from t_p;

二、將查詢結果保存到一張已經存在的hive表中
insert into  table t_tmp
select * from t_p;

三、將查詢結果保存到指定的文件目錄（能夠是本地，也能夠是hdfs）
insert overwrite local directory '/home/hadoop/test'
select * from t_p;

2、Hive Join操做

#語法結構
join_table:
  table_reference JOIN table_factor [join_condition]
  | table_reference {LEFT|RIGHT|FULL} [OUTER] JOIN table_reference join_condition
  | table_reference LEFT SEMI JOIN table_reference join_condition

Hive 支持等值鏈接（equality joins）、外鏈接（outer joins）和（left/right joins）。Hive 不支持非等值的鏈接，由於非等值鏈接很是難轉化到 map/reduce 任務。另外，Hive 支持多於2個表的鏈接。

寫 join 查詢時，須要注意幾個關鍵點：
1. 只支持等值join
例如： 
  SELECT a.* FROM a JOIN b ON (a.id = b.id)
  SELECT a.* FROM a JOIN b
    ON (a.id = b.id AND a.department = b.department)
是正確的，然而:
  SELECT a.* FROM a JOIN b ON (a.id>b.id)
是錯誤的。

2. 能夠 join 多於 2 個表。
例如
  SELECT a.val, b.val, c.val FROM a JOIN b
    ON (a.key = b.key1) JOIN c ON (c.key = b.key2)
若是join中多個表的 join key 是同一個，則 join 會被轉化爲單個 map/reduce 任務，例如：
  SELECT a.val, b.val, c.val FROM a JOIN b
    ON (a.key = b.key1) JOIN c
    ON (c.key = b.key1)
被轉化爲單個 map/reduce 任務，由於 join 中只使用了 b.key1 做爲 join key。
SELECT a.val, b.val, c.val FROM a JOIN b ON (a.key = b.key1)
  JOIN c ON (c.key = b.key2)
而這一 join 被轉化爲 2 個 map/reduce 任務。由於 b.key1 用於第一次 join 條件，而 b.key2 用於第二次 join。
   
3．join 時，每次 map/reduce 任務的邏輯：
    reducer 會緩存 join 序列中除了最後一個表的全部表的記錄，再經過最後一個表將結果序列化到文件系統。這一實現有助於在 reduce 端減小內存的使用量。實踐中，應該把最大的那個表寫在最後（不然會由於緩存浪費大量內存）。例如：
 SELECT a.val, b.val, c.val FROM a
    JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key1)
全部表都使用同一個 join key（使用 1 次 map/reduce 任務計算）。Reduce 端會緩存 a 表和 b 表的記錄，而後每次取得一個 c 表的記錄就計算一次 join 結果，相似的還有：
  SELECT a.val, b.val, c.val FROM a
    JOIN b ON (a.key = b.key1) JOIN c ON (c.key = b.key2)
這裏用了 2 次 map/reduce 任務。第一次緩存 a 表，用 b 表序列化；第二次緩存第一次 map/reduce 任務的結果，而後用 c 表序列化。

4．LEFT，RIGHT 和 FULL OUTER 關鍵字用於處理 join 中空記錄的狀況
例如：
  SELECT a.val, b.val FROM 
a LEFT OUTER  JOIN b ON (a.key=b.key)
對應全部 a 表中的記錄都有一條記錄輸出。輸出的結果應該是 a.val, b.val，當 a.key=b.key 時，而當 b.key 中找不到等值的 a.key 記錄時也會輸出:
a.val, NULL
因此 a 表中的全部記錄都被保留了；
「a RIGHT OUTER JOIN b」會保留全部 b 表的記錄。

Join 發生在 WHERE 子句以前。若是你想限制 join 的輸出，應該在 WHERE 子句中寫過濾條件——或是在 join 子句中寫。這裏面一個容易混淆的問題是表分區的狀況：
  SELECT a.val, b.val FROM a
  LEFT OUTER JOIN b ON (a.key=b.key)
  WHERE a.ds='2009-07-07' AND b.ds='2009-07-07'
會 join a 表到 b 表（OUTER JOIN），列出 a.val 和 b.val 的記錄。WHERE 從句中可使用其餘列做爲過濾條件。可是，如前所述，若是 b 表中找不到對應 a 表的記錄，b 表的全部列都會列出 NULL，包括 ds 列。也就是說，join 會過濾 b 表中不能找到匹配 a 表 join key 的全部記錄。這樣的話，LEFT OUTER 就使得查詢結果與 WHERE 子句無關了。解決的辦法是在 OUTER JOIN 時使用如下語法：
  SELECT a.val, b.val FROM a LEFT OUTER JOIN b
  ON (a.key=b.key AND
      b.ds='2009-07-07' AND
      a.ds='2009-07-07')
這一查詢的結果是預先在 join 階段過濾過的，因此不會存在上述問題。這一邏輯也能夠應用於 RIGHT 和 FULL 類型的 join 中。

Join 是不能交換位置的。不管是 LEFT 仍是 RIGHT join，都是左鏈接的。
  SELECT a.val1, a.val2, b.val, c.val
  FROM a
  JOIN b ON (a.key = b.key)
  LEFT OUTER JOIN c ON (a.key = c.key)
先 join a 表到 b 表，丟棄掉全部 join key 中不匹配的記錄，而後用這一中間結果和 c 表作 join。這一表述有一個不太明顯的問題，就是當一個 key 在 a 表和 c 表都存在，可是 b 表中不存在的時候：整個記錄在第一次 join，即 a JOIN b 的時候都
被丟掉了（包括a.val1，a.val2和a.key），而後咱們再和 c 表 join 的時候，若是 c.key 與 a.key 或 b.key 相等，就會獲得這樣的結果：NULL, NULL, NULL, c.val

 

3、具體實例：

一、獲取已經分配班級的學生姓名。

 

二、獲取還沒有分配班級的學生姓名。

三、LEFT  SEMI  JOIN是IN/EXISTS的高效實現。

join實戰：

關於hive中的各類join

準備數據
1,a
2,b
3,c
4,d
7,y
8,u

2,bb
3,cc
7,yy
9,pp

建表：
create table a(id int,name string)
row format delimited fields terminated by ',';

create table b(id int,name string)
row format delimited fields terminated by ',';

導入數據：
load data local inpath '/home/hadoop/a.txt' into table a;
load data local inpath '/home/hadoop/b.txt' into table b;

實驗：
** inner join
select * from a inner join b on a.id=b.id;
+-------+---------+-------+---------+--+
| a.id  | a.name  | b.id  | b.name  |
+-------+---------+-------+---------+--+
| 2     | b       | 2     | bb      |
| 3     | c       | 3     | cc      |
| 7     | y       | 7     | yy      |
+-------+---------+-------+---------+--+

**left join
select * from a left join b on a.id=b.id;
+-------+---------+-------+---------+--+
| a.id  | a.name  | b.id  | b.name  |
+-------+---------+-------+---------+--+
| 1     | a       | NULL  | NULL    |
| 2     | b       | 2     | bb      |
| 3     | c       | 3     | cc      |
| 4     | d       | NULL  | NULL    |
| 7     | y       | 7     | yy      |
| 8     | u       | NULL  | NULL    |
+-------+---------+-------+---------+--+

**right join
select * from a right join b on a.id=b.id;

**
select * from a full outer join b on a.id=b.id;
+-------+---------+-------+---------+--+
| a.id  | a.name  | b.id  | b.name  |
+-------+---------+-------+---------+--+
| 1     | a       | NULL  | NULL    |
| 2     | b       | 2     | bb      |
| 3     | c       | 3     | cc      |
| 4     | d       | NULL  | NULL    |
| 7     | y       | 7     | yy      |
| 8     | u       | NULL  | NULL    |
| NULL  | NULL    | 9     | pp      |
+-------+---------+-------+---------+--+

**
select * from a left semi join b on a.id = b.id;
+-------+---------+--+
| a.id  | a.name  |
+-------+---------+--+
| 2     | b       |
| 3     | c       |
| 7     | y       |
+-------+---------+--+

    最後寄語，以上是博主本次文章的所有內容，若是你們以爲博主的文章還不錯，請點贊；若是您對博主其它服務器大數據技術或者博主本人感興趣，請關注博主博客，而且歡迎隨時跟博主溝通交流。