Install Drill

Install Drill Introduction

2016年1月4日,

你能夠安裝鑽用於嵌入模式或分佈式模式。選擇嵌入模式鑽只使用在單個節點上。安裝鑽用於嵌入模式不須要管理員安裝。使用鑽在嵌入式模式不須要配置。

選擇分佈式模式使用鑽在Hadoop集羣環境中。集羣(多服務器)安裝ZooKeeper是其中一個先決條件。您還須要爲使用在分佈式模式配置鑽。完成這些任務後，鏈接鑽你的hive，HBase，或者分佈式文件系統的數據源，並運行查詢。

使用Parquet文件從先前的安裝

若是你安裝鑽1.2或更早的和生成的Parquet文件，你須要遷移文件用於之後的版本中，在下一節中解釋。

←安裝鑽 遷移Parquet數據→

遷移Parquet數據

數據遷移Parquet你生成使用鑽1.2或更早以前強制使用數據在後面的版本。數據必須被標記爲Drill-generated。

重要的：
運行升級工具只有在Drill-generated Parquet的文件。

爲何鑽遷移數據

鑽1.3和之後使用了最新的Apache鋪庫來生成和分區鋪文件,而鑽1.2和更早以前的拼花庫的使用本身的版本。 鑽團隊建立本身的版本修復一個缺陷在舊圖書館經過其餘工具生成的準確處理Parquet文件,如Impala和hive和其餘軟件。Apache拼花固定的缺陷在最新的庫,使其適用於鑽1.3及之後。 鑽如今使用Apache拼花圖書館同樣黑斑羚、蜂巢等軟件。你須要鋪上運行升級工具在Parquet生成的文件經過鑽1.2和更早使用過先前的版本。

升級工具簡單地插入一個元數據標記文件中的版本號爲鑽文件。

爲遷移作準備

留出足夠的時間的遷移。經過鑽開發人員測試的,花了32分鐘升級1TB的數據840文件和370分鐘去更新100GB數據在200k的文件。雖然在升級時文件的大小是一個因素，文件數量是最重要的因素。

系統管理員能夠編寫shell腳本同時運行升級工具在多個子目錄。

備份數據遷移和建立一個或多個臨時目錄在遷移以前在下一節中描述的數據。

如何遷移數據

臨時目錄或目錄保存恢復文件的副本，目前在系統故障時進行修改。檢查臨時目錄也能夠指示一個無人看管的遷移的成功或失敗。

鋪遷移數據生成用於鑽1.3或更高版本,您在以前的版本中,遵循這些步驟:

重要：
運行升級工具只有在Drill-generated Parquet的文件。

1. 備份數據遷移。

2. 建立一個或多個臨時目錄,這取決於你如何計劃運行升級工具,在同一文件系統做爲數據。
   例如,若是數據在HDFS,HDFS上建立臨時目錄。當您運行升級工具建立不一樣的臨時目錄同時在不一樣的目錄中能夠有多個目錄文件具備相同的名稱。

3. 下載和構建升級工具github。

4. 若是你使用Parquet元數據緩存:
   刪除緩存文件生成的全部目錄和子目錄,運行升級工具的計劃。

運行REFRESH TABLE METADATA 在全部先前存在的文件夾緩存文件。

1. 運行升級工具如如下示例所示:

   java -Dlog.path=/<your path>/drill-upgrade/upgrade.log -cp drill-upgrade-1.0-jar-with-dependencies.jar org.apache.drill.upgrade.Upgrade_12_13 --tempDir=maprfs:///drill/upgrade-temp maprfs:///drill/testdata/

檢查遷移的成功

若是你執行一個無人看管的遷移,檢查臨時目錄或目錄是空的。空目錄顯示成功。

遷移失敗的處理

若是網絡鏈接出現故障,或者若是用戶取消操做,當時正在處理的文件取消可能損壞。從這種狀況下,恢復執行如下步驟:

1. 將文件從臨時目錄複製到您的Parquet目錄文件。

2. 從新運行升級工具。

跳過文件的工具,已經處理,僅更新剩餘的文件。

←安裝鑽的介紹 安裝鑽在嵌入式模式→

安裝鑽在嵌入式模式

嵌入模式的先決條件
2015年12月30日

只使用鑽在單個節點上,安裝鑽在嵌入式模式。在嵌入式模式安裝鑽，在你的計算機本地安裝鑽。 嵌入模式是一個快速的方法來安裝和試鑽而不用 執行任何配置任務。 動物園管理員安裝不是必需的。 安裝鑽在嵌入式模式配置 本地Drillbit服務啓動時自動啓動鑽殼。 你能夠在一臺機器上安裝鑽在嵌入式模式 運行Linux、Mac OS X或Windows操做系統。

你須要知足如下先決條件運行鑽:

• Linux、Mac OS X和Windows: Oracle Java SE Development (JDK) Kit 7安裝

• 僅Windows平臺:
  JAVA_HOME環境變量指向JDK安裝

一個PATH環境變量,包括一個指向JDK安裝
正在解壓一個tar.gz文件的實用程序。

遵循特定的操做系統安裝說明在這個文檔。

←安裝鑽在嵌入式模式 在Linux和Mac OS X上安裝鑽→

在Linux和Mac OS X上安裝鑽機

2016年2月24日

首先,檢查你知足先決條件，而後在Linux或Mac OS X上安裝Apache鑽:

完成如下步驟來安裝鑽:

1. 在一個終端窗口,改變你想要的目錄安裝鑽機。

2. 下載最新版本的Apache鑽在這裏或從Apache鑽鏡像站點使用適合您系統的命令:

   wget http://mirrors.sonic.net/apache/drill/drill-1.5.0/apache-drill-1.5.0.tar.gz
   curl -o apache-drill-1.5.0.tar.gz http://mirrors.sonic.net/apache/drill/drill-1.5.0/apache-drill-1.5.0.tar.gz

3. 將下載文件複製到你想要的目錄安裝鑽機。

4. 提取鑽內容 .tar.gz file. 必要的時候使用sudo命令：
   tar -xvzf <.tar.gz file name>

提取過程建立包含鑽軟件的安裝目錄。你如今能夠開始鑽 。

←嵌入模式的先決條件 開始鑽在Linux和Mac OS X→

開始鑽在Linux和Mac OS X

開始鑽殼在嵌入模式,使用 drill-embedded命令。在內部,命令使用jdbc鏈接字符串和標識本地節點做爲管理員節點。完成如下步驟開始鑽殼:

1. 導航到鑽安裝目錄。

2. 發出如下命令啓動鑽殼:

   bin / drill-embedded
   The 0: jdbc:drill:zk=local> prompt appears.

在這一點上,你能夠運行查詢。

Drill開始,你也可使用 sqlline 命令和一個自定義鏈接字符串，做爲詳細描述 「使用一個Ad-Hoc鏈接鑽」。例如,當你啓動shell您能夠指定默認存儲插件配置。這樣在查詢中就不須要指定存儲插件配置。例如,這個命令指定了dfs存儲插件:

bin/sqlline –u jdbc:drill:zk=local;schema=dfs

若是你開始鑽在一個網絡，而後想使用鑽在另外一個網絡，好比你的家庭網絡，重啓鑽。

關於鑽提示

在嵌入模式,鑽提示以下:

0: jdbc:drill:zk=local>

• 0是鑽的鏈接數,也能夠只有一個在嵌入式節點。

• jdbc鏈接類型。

• zk=local意味着本地節點替代ZooKeeper節點。

退出鑽殼

退出鑽殼和中止鑽過程在Mac OS X和Linux上,發出如下命令:

!quit

←在Linux和Mac OS X上安裝鑽 在Windows上安裝鑽→

在Windows上安裝鑽

2016年2月24日

首先,檢查你知足先決條件 ,包括設置JAVA_HOME環境變量,而後安裝鑽機。目前，鑽僅支持64位Windows。 完成如下步驟來安裝鑽:

1.下載最新版本的Apache鑽 在這裏 。
2.將下載文件的目錄你想安裝鑽機。
3.解壓GZ文件使用第三方工具。若是你所使用的工具沒有潛在解壓TAR文件以及GZ文件,執行第二 個解壓縮軟件提取鑽。提取過程建立包含鑽軟件的安裝目錄。
在這一點上,你能夠開始鑽 。

←開始鑽在Linux和Mac OS X 在Windows上開始鑽→

開始鑽在Windows上

開始鑽殼使用sqlline命令。完成如下步驟來啓動鑽殼:

1.打開命令提示符。
2.導航到鑽安裝文件夾。
3.去bin目錄。例如: cd bin
4.在命令行中輸入如下命令:sqlline.bat -u "jdbc:drill:zk=local"

鑽的提示出現了。你能夠提交查詢鑽。

您可使用模式選項 sqlline 命令來指定一個存儲插件。指定存儲插件啓動時消除了須要指定存儲插件查詢中。例如,這個命令指定了 dfs
存儲插件:

C:\bin\sqlline sqlline.bat –u "jdbc:drill:zk=local;schema=dfs"

若是你開始鑽在一個網絡,而後想使用另外一個網絡上鑽,好比你的家庭網絡,重啓鑽。

退出鑽殼

退出鑽殼,發出如下命令:

!quit

←在Windows上安裝鑽機 →安裝鑽在分佈式模式

安裝鑽在分佈式模式

分佈式模式的先決條件

2015年12月30日

你能夠安裝Apache鑽在一個或多個節點在集羣環境中運行它。

先決條件

集羣中的節點上安裝鑽以前,確保集羣知足下列先決條件:

• Running Oracle JDK version 7 (Required)

• Running a ZooKeeper quorum (Required)

• Running a Hadoop cluster (Recommended)

• Using DNS (Recommended)

←安裝鑽在分佈式模式 在集羣上安裝鑽→

在集羣上安裝鑽

2016年2月24日
你安裝鑽在集羣中的節點,配置集羣ID,並添加管理員信息,如如下所述步驟:

1.下載最新版本的Apache鑽 在這裏 或從 Apache鑽鏡像站點 使用命令適合您的系統:

wget http://mirrors.sonic.net/apache/drill/drill-1.5.0/apache-drill-1.5.0.tar.gz
curl -o apache-drill-1.5.0.tar.gz http://mirrors.sonic.net/apache/drill/drill-1.5.0/apache-drill-1.5.0.tar.gz

2.提取原始碼到您選擇的目錄,如 /opt：:

tar -xzvf apache-drill-<version>.tar.gz

3.在drill-override.conf,使用鑽cluster ID，並提供管理員的主機名和端口號配置鏈接到你的動物園管理員羣體。
a.編撰drill-override.conf位於conf目錄中。
b.提供一個獨特的cluster-id和動物園管理員的主機名和端口號在zk.connect。若是你在多個節點上安裝鑽,分配相同的cluster ID給每一個鑽節點,這樣全部鑽節點共享相同的ID。默認管理員港口開源版本的Apache鑽是2181。

例

drill.exec:{
  cluster-id: "<mydrillcluster>",
  zk.connect: "<zkhostname1>:<port>,<zkhostname2>:<port>,<zkhostname3>:<port>"
 }

←分佈式模式的先決條件 開始鑽在分佈式模式→

開始鑽在分佈式模式

2015年12月30日
使用鑽在分佈式模式中,您首先須要啓動一個鑽守護進程(Drillbit)在集羣中的每一個節點。開始Drillbit前試圖鏈接客戶端。啓動Drillbit,使用 drillbit.sh 命令。

請注意 
若是你使用鑽在嵌入式模式中,不使用drillbit.sh命令。

使用drillbit.sh命令

除了開始Drillbit,你使用 drillbit.sh 命令執行其餘任務:

• 檢查Drillbit的狀態

• 中止或從新啓動Drillbit

• 配置一個默認Drillbit重啓

您可使用一個配置文件開始Drillbits。使用這些文件很方便控制Drillbits在多個節點上。

drillbit.sh命令語法

drillbit.sh [--config <conf-dir>] (start|stop|status|restart|autorestart)

例如,從新啓動一個Drillbit tarball安裝,導航到鑽安裝目錄,併發出如下命令安裝目錄:

bin/drillbit.sh restart

開始鑽殼

使用鑽殼,能夠交互地使用SQL命令查詢鏈接數據源中的數據。開始鑽殼,運行如下腳本之一,它位於鑽安裝的bin目錄:

• drill-conf使用鏈接字符串打開鑽殼到指定的ZooKeeper節點
  drill-override.conf in <installation directory>/conf.

• drill-localhost使用鑽殼鏈接到ZooKeeper運行在當地主機

鑽提示當你開始出現鑽殼。

使用一個Ad-Hoc鏈接到鑽

你一般使用自定義鏈接鑽,但不會改變的鏈接字符串 drill-conf,開始鑽殼在ad-hoc基點使用 sqlline。例如,開始鑽殼使用一個特定的存儲插件模式,使用下面的命令語法:

sqlline –u jdbc:drill:[schema=<storage plugin>;]zk=<zk name>[:<port>][,<zk name2>[:<port>]... ]

sqlline參數和鏈接參數

• -u is the option that precedes(領先) a connection string. Required.

• jdbc is the connection type. Required.

• schema is the name of a storage plugin configuration(配置) to use as the default for queries. Optional(可選擇的).

• zk name specifies(指定) one or more ZooKeeper host names or IP addresses.

• port is the ZooKeeper port number. Optional. Port 2181 is the default for the open source version of Apache Drill.

例如,開始鑽殼是用默認模式 dfs存儲插件:

bin/sqlline –u jdbc:drill:schema=dfs;zk=centos26

指定存儲插件配置名稱當你開始就不須要輸入USE <schema name>使用<模式名稱>
或在FROM子句中指定它。

如下命令啓動鑽殼在集羣上運行管理員配置三點:

bin/sqlline –u jdbc:drill:zk=cento23,centos24,centos26:5181

直接 Drillbit 鏈接

若是你想直接鏈接到Drillbit而不是使用管理員選擇Drillbit,替換 zk=<zk name>與drillbit = <node> 做爲下所示的URL。

jdbc:drill:[schema(模式)=<storage plugin(插件)>;]drillbit=<node name>[:<port>][,<node name2>[:<port>]...
]<directory>/<cluster ID>

在哪

drillbit=<node name> specifies one or more host names or IP addresses of cluster nodes running Drill.

退出鑽殼

退出鑽殼,發出如下命令:

!quit

中止鑽

導航到鑽安裝目錄,併發出如下命令中止Drillbit:

bin/drillbit.sh stop

← Installing(安裝) Drill on the Cluster Starting the Web Console →

啓動Web控制檯

鑽Web控制檯是幾個客戶端接口之一您可使用訪問鑽。

打開Web控制檯,啓動一個Web瀏覽器,和去下列url根據配置HTTPS支持:

• http://<IP address or host name>:8047
  Use this URL when HTTPS support is disabled (the default).

• https://<IP address or host name>:8047
  Use this URL when HTTPS support is enabled.

←開始鑽在分佈式模式 配置鑽→