本文主要講解Elasticsearch及其套件Kibana、Logstash的安裝及啓動,還講解如何導入數據用於後續的實驗。html
說明:Elasticsearch是基於Java開發的,因此若是是下載Elasticsearch 6.x及以前的版本,須要本身安裝Java環境;若是是7.x版本,會自帶Java環境,無需額外安裝,本次咱們安裝的版本是7.11.1。其餘套件的安裝,也須要根據相應的版本進行安裝。node
windows 環境,下載後加壓便可。https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-windows-x86_64.zipwindows
mac環境,下載後解壓便可。服務器
curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.11.1-darwin-x86_64.tar.gz tar -xzvf elasticsearch-7.11.1-darwin-x86_64.tar.gz
啓動curl
bin/elasticsearch
單機啓動多實例elasticsearch
elasticsearch -E node.name=node1 -E cluster.name=zxy -E path.data=/data/logs/es/node1_data -d elasticsearch -E node.name=node2 -E cluster.name=zxy -E path.data=/data/logs/es/node2_data -d elasticsearch -E node.name=node3 -E cluster.name=zxy -E path.data=/data/logs/es/node3_data -d
訪問ide
http://localhost:9200/
查看插件ui
bin/elasticsearch-plugin list
安裝插件analysis-icu,後續用於中文分詞url
bin/elasticsearch-plugin install analysis-icu
Kibana 是一個免費且開放的用戶界面,可以讓咱們對 Elasticsearch 數據進行可視化,並讓咱們在 Elastic Stack 中進行導航。咱們能夠進行各類操做,從跟蹤查詢負載,到理解請求如何流經整個應用,都能輕鬆完成。插件
windows環境的下載包:https://artifacts.elastic.co/downloads/kibana/kibana-7.11.1-windows-x86_64.zip
mac環境
curl -L -O https://artifacts.elastic.co/downloads/kibana/kibana-7.11.1-darwin-x86_64.tar.gz tar xzvf kibana-7.11.1-darwin-x86_64.tar.gz
改成中文
修改配置文件 kibana.yml,在最後添加配置以下 i18n.locale: "zh-CN"
啓動
./bin/kibana
訪問
http://127.0.0.1:5601/
Logstash 是免費且開放的服務器端數據處理管道,可以從多個來源採集數據,轉換數據,而後將數據發送到咱們最喜歡的「存儲庫」中。
windows環境的下載包:https://artifacts.elastic.co/downloads/logstash/logstash-7.11.1-windows-x86_64.zip
mac
curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-7.11.1-darwin-x86_64.tar.gz tar xzvf logstash-7.11.1-darwin-x86_64.tar.gz
啓動
sudo ./bin/logstash -f ./config/logstash.conf
MovieLens 是一個推薦系統。它由美國 Minnesota 大學計算機科學與工程學院的 GroupLens 項目組創辦,是一個非商業性質的、以研究爲目的的實驗性站點。
下載實驗用的csv數據文件:http://files.grouplens.org/datasets/movielens/ml-25m.zip
解壓後把數據經過Kinana進行導入,後續作實驗的時候會用到,解壓後的文件主要有links.csv,movies.csv,ratings.csv,tags.csv。
操做路徑:Machine Learning->DataVisualizer 點擊UPLOAD。
注意表頭無法自動識別,可能變成了「column1,column2,column3」等等,須要自行修改。