ElasticStack學習（二）：ElasticStack安裝與運行

　　1、ElasticSearch的安裝與運行

　　一、因爲ElasticSearch是由Java語言開發的，若要運行ElasticSearch，須要安裝並配置JDK，並要設置$JAVA_HOME環境變量。

　　二、ElasticSearch版本對於Java依賴的說明：

　　　　1）ElasticSearch5.0須要Java8以上的版本；

　　　　2）ElasticSearch6.5開始支持Java11；

　　　　3）從ElasticSearch7.0開始，內置了Java環境；

　　　　4）下圖是ElasticSearch和JVM的對應關係矩陣：https://www.elastic.co/cn/support/matrix#matrix_jvm

　　　　 

 　　三、ElasticSearch下載說明

　　　　1）下載地址：https://www.elastic.co/cn/downloads/elasticsearch

　　　　2）ElasticSearch能夠運行在主流操做系統上，同時也能夠運行在Docker中；

　　　　3）本人電腦是Windows系統，因此下載的是ElasticSearch的Windows版本；

　　四、ElasticSearch安裝過程--前臺模式（Windows系統）

　　　　1）ElasticSearch在Windows上的安裝提供了兩種形式，一種是以zip文件的形式進行解壓；一種是以MSI文件的形式進行安裝；之前一般是以zip文件的形式在Windows上進行安裝，如今以MSI文件格式進行安裝也是可行的，它提供了一種最簡便的入門體驗；

　　　　2）咱們採用以zip文件的形式進行安裝。首先將下載完畢的ElasticSearch壓縮包進行解壓，此時會建立一個名稱爲ElasticSearch-x.x.x的文件夾，將其設置爲$ES_HOME環境變量的引用路徑；

　　　　

　　　　3）打開命令窗口，進入到當前ElasticSearch的目錄中，以下圖所示：

　　　　

　　　　4）運行ElasticSearch，進入bin目錄下，執行elasticsearch.bat文件。如若想中止運行ElasticSearch，按Ctrl+C；

　　　　

　　　　5）驗證ElasticSearch是否正在運行，經過發送Http請示，向localhost:9200進行請求。若ElasticSearch運行正常，則返回以下結果：

　　　　

　　五、ElasticSearch安裝過程--後臺模式（Windows系統）

　　ElasticSearch能夠做爲一個服務在後臺進行運行，或當系統啓動時能夠自動運行，不須要人爲干預。服務安裝能夠經過bin目錄下面的elasticsearch-service.bat腳原本實現，該腳本能夠實現安裝、卸載、管理和配置服務，並能夠啓動和中止服務，全部操做都可以經過命令行來完成。以下所示：

1 G:\elasticsearch-7.2.0\bin>elasticsearch-service.bat 2 
3 可操做的命令：install|remove|manage|start|stop [service_id]

 　　因此，執行該腳本，須要一個命令參數。同時，根據狀況須要一個service_id，也就是可選參數。

　　在安裝服務時，確保服務的名稱和JAVA_HOME是可用的，以下圖所示：

　　

　　六、ElasticSearch文件目錄結構

　　

　　七、JVM配置說明

　　在config目錄中jvm.options文件裏，對JVM的默認配置爲1GB。在生產環境中，建議最大與最小內存設置成同樣的，最大內存不要超過機器的50%，同時內存的總量不要超過30GB。相關文章可參照：www.elastic.co/blog/a-heap-of-trouble

 　　八、ElasticSearch插件的安裝

　　執行bin目錄中elasticsearch-plugin腳本，查看目前已經安裝的插件，以下圖所示：

　　

　　能夠看出目前沒有安裝任何插件，如今能夠安裝一個分詞插件analysis-icu，以下圖所示：

　　

　　能夠看到，正在從elastic站點進行插件的下載和安裝。

 

　　2、Kibana的安裝與運行

　　一、Kibana下載地址：https://www.elastic.co/downloads/kibana ；

　　二、將下載的壓縮包進行解壓縮，若是須要對kibana進行一些配置，能夠在config目錄下面的kibana.yml文件中進行修改；

　　三、首先將ElasticSearch運行起來，由於kibana是基於ElasticSearch進行運行的；

　　四、kibana運行的默認端口是5601，向瀏覽器中訪問：http://localhost:5601，可見以下圖所示：

　　

　　五、經過點擊添加樣例數據連接，能夠看到以下圖：

　　

　　咱們能夠添加關於電商、航空、網絡日誌三種樣例數據。

　　六、另外，在kibana中的DevTool是一個頗有用的工具，它能夠調試ElasticSearch的API；

　　七、若要想對kibana進行漢化，從kibana6.8和ES7.0開始支持，在config目錄中，對kibana.yml文件中的i18n.locale項設置成: "zh-CN"，也就是i18n.locale: "zh-CN"就能夠了。

 

　　3、Logstash的安裝與運行

　　一、Logstash的下載地址：https://www.elastic.co/cn/downloads/logstash

　　二、從https://grouplens.org/datasets/movielens/地址中下載最小的測試數據集，將下載的數據集中的movies.csv文件導入到ElasticSearch中；

　　三、在Logstash目錄下面的bin目錄下面創建Logstash.conf文件，配置內容以下：

input {
  file {
    path => ["G:/logstash-7.2.0/sample-source/movies.csv"]
    start_position => beginning
    sincedb_path => "G:/logstash-7.2.0/abc"
  }
}
filter {
  csv {
    separator => ","
    columns => ["id","content","genre"]
  }

  mutate {
    split => { "genre" => "|" }
    remove_field => ["path", "host","@timestamp","message"]
  }

  mutate {

    split => ["content", "("]
    add_field => { "title" => "%{[content][0]}"}
    add_field => { "year" => "%{[content][1]}"}
  }

#  mutate {

#    gsub => [
#      
#      "year", "\\)", ""
#    ]
#  }


  mutate {
    convert => {
      "year" => "integer"
    }
    strip => ["title"]
    remove_field => ["path", "host","@timestamp","message","content"]
  }



}
output {
   elasticsearch {
     hosts => "http://localhost:9200"
     index => "movies"
     document_id => "%{id}"
   }
  stdout {}
}

 　　四、打開cmd，進行Logstash目錄下面的bin目錄下，執行logstash -f logstash.conf，會將數據導入到ElasticSearch中，以下圖所示：

　　

 

　　你們可關注個人公衆號

　　

　　知識學習來源：《Elasticsearch核心技術與實戰》