Hadoop Hive sql 語法詳解

Hive 是基於Hadoop 構建的一套數據倉庫分析系統，它提供了豐富的SQL查詢方式來分析存儲在Hadoop 分佈式文件系統中的數據，能夠將結構化的數據文件映射爲一張數據庫表，並提供完整的SQL查詢功能，能夠將SQL語句轉換爲MapReduce任務進行運行，經過本身的SQL 去查詢分析須要的內容，這套SQL 簡稱Hive SQL，使不熟悉mapreduce 的用戶很方便的利用SQL 語言查詢，彙總，分析數據。而mapreduce開發人員能夠把己寫的mapper 和reducer 做爲插件來支持Hive 作更復雜的數據分析。

它與關係型數據庫的SQL 略有不一樣，但支持了絕大多數的語句如DDL、DML 以及常見的聚合函數、鏈接查詢、條件查詢。HIVE不適合用於聯機，也不提供實時查詢功能。它最適合應用在基於大量不可變數據的批處理做業。

HIVE的特色：可伸縮（在Hadoop的集羣上動態的添加設備），可擴展，容錯，輸入格式的鬆散耦合。

Hive 的官方文檔中對查詢語言有了很詳細的描述，請參考：http://wiki.apache.org/hadoop/Hive/LanguageManual ，本文的內容大部分翻譯自該頁面，期間加入了一些在使用過程當中須要注意到的事項。

1. DDL 操做

建表：

1. CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name
2. [(col_name data_type [COMMENT col_comment], ...)]
3. [COMMENT table_comment]
4. [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
5. [CLUSTERED BY (col_name, col_name, ...)
6. [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
7. [ROW FORMAT row_format]
8. [STORED AS file_format]
9. [LOCATION hdfs_path]

CREATE TABLE 建立一個指定名字的表。若是相同名字的表已經存在，則拋出異常；用戶能夠用 IF NOT EXIST 選項來忽略這個異常

EXTERNAL 關鍵字可讓用戶建立一個外部表，在建表的同時指定一個指向實際數據的路徑（LOCATION）

LIKE 容許用戶複製現有的表結構，可是不復制數據

COMMENT能夠爲表與字段增長描述

ROW FORMAT

1. DELIMITED [FIELDS TERMINATED BY char] [COLLECTION ITEMS TERMINATED BY char]
2. [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
3. | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]

用戶在建表的時候能夠自定義 SerDe 或者使用自帶的 SerDe。若是沒有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED，將會使用自帶的 SerDe。在建表的時候，用戶還須要爲表指定列，用戶在指定表的列的同時也會指定自定義的 SerDe，Hive 經過 SerDe 肯定表的具體的列的數據。

STORED AS

1. SEQUENCEFILE
2. | TEXTFILE
3. | RCFILE
4. | INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname

若是文件數據是純文本，可使用 STORED AS TEXTFILE。若是數據須要壓縮，使用 STORED AS SEQUENCE 。

• 建立簡單表：

1. hive> CREATE TABLE pokes (foo INT, bar STRING);

• 建立外部表：

1. CREATE EXTERNAL TABLE page_view(viewTime INT, userid BIGINT,
2. page_url STRING, referrer_url STRING,
3. ip STRING COMMENT 'IP Address of the User',
4. country STRING COMMENT 'country of origination')
5. COMMENT 'This is the staging page view table'
6. ROW FORMAT DELIMITED FIELDS TERMINATED BY '\054'
7. STORED AS TEXTFILE
8. LOCATION '<hdfs_location>';

• 建分區表

1. CREATE TABLE par_table(viewTime INT, userid BIGINT,
2. page_url STRING, referrer_url STRING,
3. ip STRING COMMENT 'IP Address of the User')
4. COMMENT 'This is the page view table'
5. PARTITIONED BY(date STRING, pos STRING)
6. ROW FORMAT DELIMITED ‘\t’
7. FIELDS TERMINATED BY '\n'
8. STORED AS SEQUENCEFILE;

• 建Bucket表

1. CREATE TABLE par_table(viewTime INT, userid BIGINT,
2. page_url STRING, referrer_url STRING,
3. ip STRING COMMENT 'IP Address of the User')
4. COMMENT 'This is the page view table'
5. PARTITIONED BY(date STRING, pos STRING)
6. CLUSTERED BY(userid) SORTED BY(viewTime) INTO 32 BUCKETS
7. ROW FORMAT DELIMITED ‘\t’
8. FIELDS TERMINATED BY '\n'
9. STORED AS SEQUENCEFILE;

• 建立表並建立索引字段ds

1. hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);

• 複製一個空表

1. CREATE TABLE empty_key_value_store
2. LIKE key_value_store;

例子

1. create table user_info (user_id int, cid string, ckid string, username string)
2. row format delimited
4. fields terminated by '\t'
6. lines terminated by '\n';

導入數據表的數據格式是：字段之間是tab鍵分割，行之間是斷行。

及要咱們的文件內容格式：

1. 100636 100890 c5c86f4cddc15eb7 yyyvybtvt
2. 100612 100865 97cc70d411c18b6f gyvcycy
3. 100078 100087 ecd6026a15ffddf5 qa000100

• 顯示全部表：

1. hive> SHOW TABLES;

按正條件（正則表達式）顯示錶，

1. hive> SHOW TABLES '.*s';

修改表結構

• 表添加一列 ：

1. hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);

• 添加一列並增長列字段註釋

1. hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');

• 更改表名：

1. hive> ALTER TABLE events RENAME TO 3koobecaf;

• 刪除列：

1. hive> DROP TABLE pokes;

增長、刪除分區

• 增長

1. ALTER TABLE table_name ADD [IF NOT EXISTS] partition_spec
2. [ LOCATION 'location1' ] partition_spec [ LOCATION 'location2' ] ...
3. partition_spec:
4. : PARTITION (partition_col = partition_col_value, partition_col = partiton_col_value, ...)

• 刪除

1. ALTER TABLE table_name DROP partition_spec, partition_spec,...

• 重命名錶

1. ALTER TABLE table_name RENAME TO new_table_name

• 修改列的名字、類型、位置、註釋：

1. ALTER TABLE table_name CHANGE [COLUMN] col_old_name
2. col_new_name column_type [COMMENT col_comment] [FIRST|AFTER column_name]

這個命令能夠容許改變列名、數據類型、註釋、列位置或者它們的任意組合

• 表添加一列 ：

1. hive> ALTER TABLE pokes ADD COLUMNS (new_col INT);

• 添加一列並增長列字段註釋

1. hive> ALTER TABLE invites ADD COLUMNS (new_col2 INT COMMENT 'a comment');

• 增長/更新列

1. ALTER TABLE table_name ADD|REPLACE COLUMNS (col_name data_type [COMMENT col_comment], ...)

ADD是表明新增一字段，字段位置在全部列後面(partition列前)

REPLACE則是表示替換表中全部字段。

• 增長表的元數據信息

1. ALTER TABLE table_name SET TBLPROPERTIES table_properties table_properties:
2. :[property_name = property_value…..]

用戶能夠用這個命令向表中增長metadata

• 改變表文件格式與組織

1. ALTER TABLE table_name SET FILEFORMAT file_format
2. ?ALTER TABLE table_name CLUSTERED BY(userid) SORTED BY(viewTime) INTO num_buckets BUCKETS

這個命令修改了表的物理存儲屬性

• 建立／刪除視圖

1. CREATE VIEW [IF NOT EXISTS] view_name [ (column_name [COMMENT column_comment], ...)
2. ][COMMENT view_comment][TBLPROPERTIES (property_name = property_value, ...)] AS SELECT

• 增長視圖

若是沒有提供表名，視圖列的名字將由定義的SELECT表達式自動生成

若是修改基本表的屬性，視圖中不會體現，無效查詢將會失敗

視圖是隻讀的，不能用LOAD/INSERT/ALTER

• 刪除視圖

1. DROP VIEW view_name

• 建立數據庫

1. CREATE DATABASE name

• 顯示命令

1. show tables;
2. ?show databases;
3. ?show partitions ;
4. ?show functions
5. ?describe extended table_name dot col_name

2. DML 操做:元數據存儲

hive不支持用insert語句一條一條的進行插入操做，也不支持update操做。數據是以load的方式加載到創建好的表中。數據一旦導入就不能夠修改。

DML包括：INSERT插入、UPDATE更新、DELETE刪除

• 向數據表內加載文件

1. LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename
2. [PARTITION (partcol1=val1, partcol2=val2 ...)]

Load 操做只是單純的複製/移動操做，將數據文件移動到 Hive 表對應的位置。

• filepath

  • 相對路徑，例如：project/data1
  • 絕對路徑，例如： /user/hive/project/data1

包含模式的完整 URI，例如：hdfs://namenode:9000/user/hive/project/data1

例如：

1. hive> LOAD DATA LOCAL INPATH './examples/files/kv1.txt' OVERWRITE INTO TABLE pokes;

• 加載本地數據，同時給定分區信息

  加載的目標能夠是一個表或者分區。若是表包含分區，必須指定每個分區的分區名

  filepath 能夠引用一個文件（這種狀況下，Hive 會將文件移動到表所對應的目錄中）或者是一個目錄（在這種狀況下，Hive 會將目錄中的全部文件移動至表所對應的目錄中）

• LOCAL關鍵字

  指定了LOCAL，即本地

  load 命令會去查找本地文件系統中的 filepath。若是發現是相對路徑，則路徑會被解釋爲相對於當前用戶的當前路徑。用戶也能夠爲本地文件指定一個完整的 URI，好比：file:///user/hive/project/data1.

load 命令會將 filepath 中的文件複製到目標文件系統中。目標文件系統由表的位置屬性決定。被複制的數據文件移動到表的數據對應的位置

3. DQL 操做:數據查詢SQL

3.1 基本的Select 操做

1. SELECT [ALL | DISTINCT] select_expr, select_expr, ...
2. FROM table_reference
3. [WHERE where_condition]
4. [GROUP BY col_list [HAVING condition]]
5. [ CLUSTER BY col_list
6. | [DISTRIBUTE BY col_list] [SORT BY| ORDER BY col_list]
7. ]
8. [LIMIT number]

使用ALL和DISTINCT選項區分對重複記錄的處理。默認是ALL，表示查詢全部記錄。DISTINCT表示去掉重複的記錄

• Where 條件

相似咱們傳統SQL的where 條件

目前支持 AND,OR ,0.9版本支持between

• IN, NOT IN

• 不支持EXIST ,NOT EXIST

• ORDER BY與SORT BY的不一樣

• ORDER BY 全局排序，只有一個Reduce任務

• SORT BY 只在本機作排序

• Limit

Limit 能夠限制查詢的記錄數

1. SELECT * FROM t1 LIMIT 5

• 實現Top k 查詢

下面的查詢語句查詢銷售記錄最大的 5 個銷售表明。

1. SET mapred.reduce.tasks = 1
2. SELECT * FROM test SORT BY amount DESC LIMIT 5
3. REGEX Column Specification

SELECT 語句可使用正則表達式作列選擇，下面的語句查詢除了 ds 和 hr 以外的全部列：

1. SELECT `(ds|hr)?+.+` FROM test

4. 從SQL到HiveQL應轉變的習慣

一、Hive不支持等值鏈接

SQL中對兩表內聯能夠寫成：

1. select * from dual a,dual b where a.key = b.key;

Hive中應爲

1. select * from dual a join dual b on a.key = b.key;

而不是傳統的格式：

1. SELECT t1.a1 as c1, t2.b1 as c2FROM t1, t2
2. WHERE t1.a2 = t2.b2

二、分號字符

分號是SQL語句結束標記，在HiveQL中也是，可是在HiveQL中，對分號的識別沒有那麼智慧，例如：

1. select concat(key,concat(';',key)) from dual;

但HiveQL在解析語句時提示：

1. FAILED: Parse Error: line 0:-1 mismatched input '<EOF>' expecting ) in function specification

解決的辦法是，使用分號的八進制的ASCII碼進行轉義，那麼上述語句應寫成：

1. select concat(key,concat('\073',key)) from dual;

三、IS [NOT] NULL

SQL中null表明空值, 值得警戒的是, 在HiveQL中String類型的字段如果空(empty)字符串, 即長度爲0, 那麼對它進行IS NULL的判斷結果是False.

四、Hive不支持將數據插入現有的表或分區中，僅支持覆蓋重寫整個表，示例以下：

1. INSERT OVERWRITE TABLE t1
2. SELECT * FROM t2;

from: http://blog.leanote.com/post/mouto/Untitled-553318f738f41124b200001b-38