1、安裝準備
本次安裝的版本是截止2020.1.30最新的版本0.17.0web
軟件要求
-
須要**Java 8(8u92 +)**以上的版本,不然會有問題sql
-
Linux,Mac OS X或其餘相似Unix的操做系統(不支持Windows)數據庫
硬件要求
Druid包括一組參考配置和用於單機部署的啓動腳本:apache
nano-quickstart
micro-quickstart
small
medium
large
xlarge
單服務器參考配置
Nano-Quickstart:1個CPU,4GB RAM
- 啓動命令:
bin/start-nano-quickstart
- 配置目錄:
conf/druid/single-server/nano-quickstart
微型快速入門:4個CPU,16GB RAM
- 啓動命令:
bin/start-micro-quickstart
- 配置目錄:
conf/druid/single-server/micro-quickstart
小型:8 CPU,64GB RAM(〜i3.2xlarge)
- 啓動命令:
bin/start-small
- 配置目錄:
conf/druid/single-server/small
中:16 CPU,128GB RAM(〜i3.4xlarge)
- 啓動命令:
bin/start-medium
- 配置目錄:
conf/druid/single-server/medium
大型:32 CPU,256GB RAM(〜i3.8xlarge)
- 啓動命令:
bin/start-large
- 配置目錄:
conf/druid/single-server/large
大型X:64 CPU,512GB RAM(〜i3.16xlarge)
-
啓動命令:
bin/start-xlarge
json -
配置目錄:
conf/druid/single-server/xlarge
服務器
咱們這裏作測試使用選擇最低配置便可nano-quickstart
app
2、下載安裝包
訪問官網:jvm
http://druid.io/如今也會跳轉https://druid.apache.org/maven
或者直接訪問https://druid.apache.org/ide
點擊download進入下載頁面:
選擇最新版本: apache-druid-0.17.0-bin.tar.gz 進行下載
200多M
也能夠選擇下載源碼包 用maven進行編譯
3、安裝
上傳安裝包
在終端中運行如下命令來安裝Druid:
tar -xzf apache-druid-0.17.0-bin.tar.gz cd apache-druid-0.17.0
安裝包裏有這幾個目錄:
LICENSE
和NOTICE
文件bin/*
-腳本conf/*
-單服務器和集羣設置的示例配置extensions/*
-擴展hadoop-dependencies/*
-Druid Hadoop依賴lib/*
-Druid庫quickstart/*
-快速入門教程的配置文件,樣本數據和其餘文件
配置文件
#進入咱們要啓動的配置文件位置: cd conf/druid/single-server/nano-quickstart/
_common 公共配置
是druid一些基本的配置,好比元數據庫地址 各類路徑等等
其餘的是各個節點的配置
比較相似,好比broker
cd broker/
jvm配置
main配置
runtime運行時相關的配置
回到主目錄
啓動的conf在
cd conf/supervise/single-server
裏面是不一樣配置啓動不一樣的腳本
4、啓動
回到主目錄
./bin/start-nano-quickstart
啓動成功:
訪問
localhost:8888
看到管理頁面
若是要修改端口,須要修改配置的端口和主目錄下的
vi bin/verify-default-ports
5、加載數據
Druid提供了一個示例數據文件,其中包含2015年9月12日發生的Wiki的示例數據。
此樣本數據位於quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz
示例數據大概是這樣:
{ "timestamp":"2015-09-12T20:03:45.018Z", "channel":"#en.wikipedia", "namespace":"Main", "page":"Spider-Man's powers and equipment", "user":"foobar", "comment":"/* Artificial web-shooters */", "cityName":"New York", "regionName":"New York", "regionIsoCode":"NY", "countryName":"United States", "countryIsoCode":"US", "isAnonymous":false, "isNew":false, "isMinor":false, "isRobot":false, "isUnpatrolled":false, "added":99, "delta":99, "deleted":0, }
Druid加載數據分爲如下幾種:
- 加載文件
- 從kafka中加載數據
- 從hadoop中加載數據
- 自定義加載方式
咱們這樣演示一下加載示例文件數據
一、進入localhost:8888 點擊load data
二、選擇local disk
三、選擇Connect data
四、預覽數據
Base directory輸入quickstart/tutorial/
File filter輸入 wikiticker-2015-09-12-sampled.json.gz
而後點擊apply預覽 就能夠看見數據了 點擊Next:parse data解析數據
五、解析數據
能夠看到json數據已經被解析了 繼續解析時間
六、解析時間
解析時間成功 以後兩步是transform和filter 這裏不作演示了 直接next
七、確認Schema
這一步會讓咱們確認Schema 能夠作一些修改
因爲數據量較小 咱們直接關掉Rollup 直接下一步
八、設置分段
這裏能夠設置數據分段 咱們選擇hour next
九、確認發佈
十、發佈成功 開始解析數據
等待任務成功
十一、查看數據
選擇datasources 能夠看到咱們加載的數據
能夠看到數據源名稱 Fully是徹底可用 還有大小等各類信息
十二、查詢數據
點擊query按鈕
咱們能夠寫sql查詢數據了 還能夠將數據下載
Druid相關博文
靜下心來,努力的提高本身,永遠都沒有錯。更多實時計算相關博文,歡迎關注實時流式計算