第三百五十九節，Python分佈式爬蟲打造搜索引擎Scrapy精講—elasticsearch(搜索引擎)介紹以及安裝

第三百五十九節，Python分佈式爬蟲打造搜索引擎Scrapy精講—elasticsearch(搜索引擎)介紹以及安裝

 

elasticsearch(搜索引擎)介紹

ElasticSearch是一個基於Lucene的搜索服務器。它提供了一個分佈式多用戶能力的全文搜索引擎，基於RESTful web接口。Elasticsearch是用Java開發的，並做爲Apache許可條款下的開放源碼發佈，是第二最流行的企業搜索引擎。設計用於雲計算中，可以達到實時搜索，穩定，可靠，快速，安裝使用方便。

咱們創建一個網站或應用程序，並要添加搜索功能，令咱們受打擊的是:搜索工做是很難的。咱們但願咱們的搜索解決方案要快，咱們但願有一個零配置和一個徹底免費的搜索模式，咱們但願可以簡單地使用JSON經過HTTP的索引數據，咱們但願咱們的搜索服務器始終可用，咱們但願可以一臺開始並擴展到數百，咱們要實時搜索，咱們要簡單的多租戶，咱們但願創建一個雲的解決方案。Elasticsearch旨在解決全部這些問題和更多的問題。

 

全文搜索引擎種類

　　一、elasticsearch

　　二、solr

　　三、sphinx

 

 

關係數據搜素缺點，也就是直接經過數據庫搜索

 elasticsearch(搜索引擎)都能彌補以上缺點

 

elasticsearch安裝

　　一、elasticsearch是由Java開發的，因此首先要安裝Java環境

　　　　注意：elasticsearch所須要的Java環境必須大於或者等於1.8版本

　　　　下載地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

　　　　咱們下載Windows x64版本，jdk-8u144-windows-x64.exe文件，直接安裝

　　　　安裝好後，咱們cmd命令輸入：java -version  查看java版本

 

 

　　二、elasticsearch-rtf安裝

　　　　下載地址：https://github.com/medcl/elasticsearch-rtf    集成了咱們不少插件

　　　　運行系統可用內存>2G　　　

如下是集成安裝的官方插件，個別插件須要配置才能使用，可根據須要刪除 plugins 目錄無關的插件，重啓 elasticsearch 生效。

bin/elasticsearch-plugin install discovery-multicast
bin/elasticsearch-plugin install analysis-icu
bin/elasticsearch-plugin install analysis-kuromoji
bin/elasticsearch-plugin install analysis-phonetic
bin/elasticsearch-plugin install analysis-smartcn
bin/elasticsearch-plugin install analysis-stempel
bin/elasticsearch-plugin install analysis-ukrainian
bin/elasticsearch-plugin install discovery-file
bin/elasticsearch-plugin install ingest-attachment
bin/elasticsearch-plugin install ingest-geoip
bin/elasticsearch-plugin install ingest-user-agent
bin/elasticsearch-plugin install mapper-attachments
bin/elasticsearch-plugin install mapper-size
bin/elasticsearch-plugin install mapper-murmur3
bin/elasticsearch-plugin install lang-javascript
bin/elasticsearch-plugin install lang-python
bin/elasticsearch-plugin install repository-hdfs
bin/elasticsearch-plugin install repository-s3
bin/elasticsearch-plugin install repository-azure
bin/elasticsearch-plugin install repository-gcs
bin/elasticsearch-plugin install store-smb
bin/elasticsearch-plugin install discovery-ec2
bin/elasticsearch-plugin install discovery-azure-classic
bin/elasticsearch-plugin install discovery-gce

 elasticsearch-rtf下載好解壓後將文件夾複製到一個目錄會獲得如下文件

雙擊進入bin文件夾裏，按shlft+鼠標右鍵，在此處打開命令窗口，輸入 elasticsearch.bat  回車運行

而後在瀏覽器輸入http://127.0.0.1:9200/ 返回數聽說明成功

 

 

　　三、安裝elasticsearch-rtf(搜索引擎)的可視化管理工具elasticsearch-head

　　　　注意：(搜索引擎)的可視化管理工具elasticsearch-head，的安裝要用到node.js的npm 插件管理器

　　　　因此要先安裝node.js的npm 插件管理器

　　　　下載地址：https://nodejs.org/en/download/

　　　　咱們下載windows版本便可，下載後安裝便可

　　　　安裝後cdm命令：npm      以下顯示錶示安裝成功

 

　　　　npm命令是node.js的npm 插件管理器，也就是下載插件安裝插件的管理器，由於下載都是國外服務器很慢會掉線，咱們須要使用淘寶的npm鏡像cnpm

　　　　執行命令：npm install -g cnpm --registry=https://registry.npm.taobao.org   啓用淘寶的npm鏡像cnpm，注意：啓用後當咱們要輸入npm命令時，就須要輸入cnpm

 

 

　　(搜索引擎)的可視化管理工具elasticsearch-head的安裝

　　　　下載地址：https://github.com/mobz/elasticsearch-head

　　　　下載後解壓到指定目錄，會獲得如下文件

 　　　　cd進入到解壓的elasticsearch-head目錄

　　　　執行命令：cnpm install   安裝elasticsearch-head的依賴包

　　　　在執行命令：cnpm run start  啓動elasticsearch-head(搜索引擎)的可視化管理工具

　　　　訪問：http://localhost:9100/

　　　　訪問後能夠看到(搜索引擎)的可視化管理工具

 

咱們看到顯示未鏈接，咱們須要配置elasticsearch-rtf(搜索引擎)鏈接，在elasticsearch-rtf/config/elasticsearch.yml 這個文件裏配置

在文件的最後面寫入

http.cors.enabled: true
http.cors.allow-origin: "*"
http.cors.allow-methods: OPTIONS, HEAD, GET, POST, PUT, DELETE

 

 重啓elasticsearch-rtf(搜索引擎)後就能夠鏈接了

 

 

 安裝Kibana 5.1.2版本

　　注意：Kibana的版本要對應elasticsearch-head裏信息裏的版本

　　

 　　下載地址：https://www.elastic.co/downloads/past-releases/kibana-5-1-2

　　 咱們下載windows版便可

　　 將下載文件解壓到指定目錄，進入kibana-5.1.2/bin文件夾

　　

　　cd 進入kibana-5.1.2/bin文件夾

　　執行命令：kibana.bat      運行kibana-5.1.2

　　

　　瀏覽器訪問：http://localhost:5601  以下顯示說明成功