Druid入門(1)—— 快速入門實時分析利器-Druid_0.17

1、安裝準備

本次安裝的版本是截止2020.1.30最新的版本0.17.0web

軟件要求

  • 須要**Java 8(8u92 +)**以上的版本,不然會有問題sql

  • Linux,Mac OS X或其餘相似Unix的操做系統(不支持Windows)數據庫

硬件要求

Druid包括一組參考配置和用於單機部署的啓動腳本:apache

  • nano-quickstart
  • micro-quickstart
  • small
  • medium
  • large
  • xlarge

單服務器參考配置

Nano-Quickstart:1個CPU,4GB RAM
  • 啓動命令: bin/start-nano-quickstart
  • 配置目錄: conf/druid/single-server/nano-quickstart
微型快速入門:4個CPU,16GB RAM
  • 啓動命令: bin/start-micro-quickstart
  • 配置目錄: conf/druid/single-server/micro-quickstart
小型:8 CPU,64GB RAM(〜i3.2xlarge)
  • 啓動命令: bin/start-small
  • 配置目錄: conf/druid/single-server/small
中:16 CPU,128GB RAM(〜i3.4xlarge)
  • 啓動命令: bin/start-medium
  • 配置目錄: conf/druid/single-server/medium
大型:32 CPU,256GB RAM(〜i3.8xlarge)
  • 啓動命令: bin/start-large
  • 配置目錄: conf/druid/single-server/large
大型X:64 CPU,512GB RAM(〜i3.16xlarge)
  • 啓動命令: bin/start-xlargejson

  • 配置目錄: conf/druid/single-server/xlarge服務器

咱們這裏作測試使用選擇最低配置便可nano-quickstartapp

2、下載安裝包

訪問官網:jvm

http://druid.io/如今也會跳轉https://druid.apache.org/maven

或者直接訪問https://druid.apache.org/ide

file

點擊download進入下載頁面:

file

選擇最新版本: apache-druid-0.17.0-bin.tar.gz 進行下載

200多M

file

也能夠選擇下載源碼包 用maven進行編譯

3、安裝

上傳安裝包

在終端中運行如下命令來安裝Druid:

tar -xzf apache-druid-0.17.0-bin.tar.gz
cd apache-druid-0.17.0

安裝包裏有這幾個目錄:

file

  • LICENSENOTICE文件
  • bin/* -腳本
  • conf/* -單服務器和集羣設置的示例配置
  • extensions/* -擴展
  • hadoop-dependencies/* -Druid Hadoop依賴
  • lib/* -Druid庫
  • quickstart/* -快速入門教程的配置文件,樣本數據和其餘文件

配置文件

#進入咱們要啓動的配置文件位置:
cd conf/druid/single-server/nano-quickstart/

file

_common 公共配置

file

是druid一些基本的配置,好比元數據庫地址 各類路徑等等

其餘的是各個節點的配置

比較相似,好比broker

cd broker/

file

jvm配置

main配置

runtime運行時相關的配置

回到主目錄

啓動的conf在

cd conf/supervise/single-server

file

裏面是不一樣配置啓動不一樣的腳本

4、啓動

回到主目錄

./bin/start-nano-quickstart

啓動成功:

file

訪問

localhost:8888

看到管理頁面

file

若是要修改端口,須要修改配置的端口和主目錄下的

vi bin/verify-default-ports

5、加載數據

Druid提供了一個示例數據文件,其中包含2015年9月12日發生的Wiki的示例數據。

此樣本數據位於quickstart/tutorial/wikiticker-2015-09-12-sampled.json.gz

示例數據大概是這樣:

{
  "timestamp":"2015-09-12T20:03:45.018Z",
  "channel":"#en.wikipedia",
  "namespace":"Main",
  "page":"Spider-Man's powers and equipment",
  "user":"foobar",
  "comment":"/* Artificial web-shooters */",
  "cityName":"New York",
  "regionName":"New York",
  "regionIsoCode":"NY",
  "countryName":"United States",
  "countryIsoCode":"US",
  "isAnonymous":false,
  "isNew":false,
  "isMinor":false,
  "isRobot":false,
  "isUnpatrolled":false,
  "added":99,
  "delta":99,
  "deleted":0,
}

Druid加載數據分爲如下幾種:

  • 加載文件
  • 從kafka中加載數據
  • 從hadoop中加載數據
  • 自定義加載方式

咱們這樣演示一下加載示例文件數據

一、進入localhost:8888 點擊load data

file

二、選擇local disk

file

三、選擇Connect data

file

四、預覽數據

Base directory輸入quickstart/tutorial/

File filter輸入 wikiticker-2015-09-12-sampled.json.gz

而後點擊apply預覽 就能夠看見數據了 點擊Next:parse data解析數據

file

五、解析數據

能夠看到json數據已經被解析了 繼續解析時間

file

六、解析時間

解析時間成功 以後兩步是transform和filter 這裏不作演示了 直接next

file

七、確認Schema

這一步會讓咱們確認Schema 能夠作一些修改

因爲數據量較小 咱們直接關掉Rollup 直接下一步

file

八、設置分段

這裏能夠設置數據分段 咱們選擇hour next

file

九、確認發佈

file

file

十、發佈成功 開始解析數據

file

等待任務成功

file

十一、查看數據

選擇datasources 能夠看到咱們加載的數據

能夠看到數據源名稱 Fully是徹底可用 還有大小等各類信息

file

十二、查詢數據

點擊query按鈕

咱們能夠寫sql查詢數據了 還能夠將數據下載

file

Druid相關博文

什麼是Druid

靜下心來,努力的提高本身,永遠都沒有錯。更多實時計算相關博文,歡迎關注實時流式計算

file

相關文章
相關標籤/搜索