python 操做es

Elasticsearch 是一個開源的搜索引擎，創建在一個全文搜索引擎庫 Apache Lucene™ 基礎之上。 Lucene 多是目前存在的，不論開源仍是私有的，擁有最早進，高性能和全功能搜索引擎功能的庫。可是 Lucene 僅僅只是一個庫。爲了利用它，你須要編寫 Java 程序，並在你的 java 程序裏面直接集成 Lucene 包。 更壞的狀況是，你須要對信息檢索有必定程度的理解才能明白 Lucene 是怎麼工做的。Lucene 是 很 複雜的。
在上一篇博客中介紹了ElasticSearch的簡單使用，接下來記錄一下ElasticSearch的查詢：
#建立index索引
#建立索引，索引的名字是my-index,若是已經存在了，就返回個400，
#這個索引能夠如今建立，也能夠在後面插入數據的時候再臨時建立

es.indices.create(index='my-index',ignore)

#插入數據

#插入數據,(這裏省略插入其餘兩條數據，後面用)

es.index(index="my-index",doc_type="test-type",id=01,body={"any":"data01","timestamp":datetime.now()})

#get獲取數據

#查詢數據，兩種get and search
#get獲取

res = es.get(index="my-index", doc_type="test-type", id=01)
es.get(index='indexName', doc_type='typeName', id='idValue')

#刪除數據

delete：刪除指定index、type、id的文檔

es.delete(index='indexName', doc_type='typeName', id='idValue')

#條件刪除

delete_by_query：刪除知足條件的全部數據，查詢條件必須符合DLS格式

query = {'query': {'match': {'sex': 'famale'}}}# 刪除性別爲女性的全部文檔

query = {'query': {'range': {'age': {'lt': 11}}}}# 刪除年齡小於11的全部文檔

es.delete_by_query(index='indexName', body=query, doc_type='typeName')

#條件更新

update_by_query：更新知足條件的全部數據，寫法同上刪除和查詢

#批量寫入、刪除、更新

delete_by_query：刪除知足條件的全部數據，查詢條件必須符合DLS格式

query = {'query': {'match': {'sex': 'famale'}}}# 刪除性別爲女性的全部文檔

query = {'query': {'range': {'age': {'lt': 11}}}}# 刪除年齡小於11的全部文檔

es.delete_by_query(index='indexName', body=query, doc_type='typeName')

 #批量更新也能夠採用以下的方式進行json拼裝，最後寫入
 

for line in list:
            action = {
                "_index": self.index_name,
                "_type": self.index_type,
                "_id": i, #_id 也能夠默認生成，不賦值
                "_source": {
                    "date": line['date'],
                    "source": line['source'].decode('utf8'),
                    "link": line['link'],
                    "keyword": line['keyword'].decode('utf8'),
                    "title": line['title'].decode('utf8')}
            }
            i += 1
            ACTIONS.append(action)
success, _ = bulk(self.es, ACTIONS, index=self.index_name, raise_on_error=True)

查詢全部數據
搜索全部數據

es.search(index="my_index",doc_type="test_type")
# 或者
body = {
    "query":{
        "match_all":{}
    }
}
es.search(index="my_index",doc_type="test_type",body=body)

 

#term與terms

body = {
    "query":{
        "term":{
            "name":"python"
        }
    }
}
# 查詢name="python"的全部數據
es.search(index="my_index",doc_type="test_type",body=body)
terms

body = {
    "query":{
        "terms":{
            "name":[
                "python","android"
            ]
        }
    }
}
# 搜索出name="python"或name="android"的全部數據
es.search(index="my_index",doc_type="test_type",body=body)

#match與multi_match

# match:匹配name包含python關鍵字的數據
body = {
    "query":{
        "match":{
            "name":"python"
        }
    }
}
# 查詢name包含python關鍵字的數據
es.search(index="my_index",doc_type="test_type",body=body)

# multi_match:在name和addr裏匹配包含深圳關鍵字的數據

body = {
    "query":{
        "multi_match":{
            "query":"深圳",
            "fields":["name","addr"]
        }
    }
}
# 查詢name和addr包含"深圳"關鍵字的數據
es.search(index="my_index",doc_type="test_type",body=body)

#ids

body = {
    "query":{
        "ids":{
            "type":"test_type",
            "values":[
                "1","2"
            ]
        }
    }
}
# 搜索出id爲1或2d的全部數據
es.search(index="my_index",doc_type="test_type",body=body)

#複合查詢bool

bool有3類查詢關係，must(都知足),should(其中一個知足),must_not(都不知足)

body = {
    "query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "name":"python"
                    }
                },
                {
                    "term":{
                        "age":18
                    }
                }
            ]
        }
    }
}
# 獲取name="python"而且age=18的全部數據
es.search(index="my_index",doc_type="test_type",body=body)

 

#切片式查詢

body = {
    "query":{
        "match_all":{}
    }
    "from":2    # 從第二條數據開始
    "size":4    # 獲取4條數據
}
# 從第2條數據開始，獲取4條數據
es.search(index="my_index",doc_type="test_type",body=body)

#範圍查詢

body = {
    "query":{
        "range":{
            "age":{
                "gte":18,       # >=18
                "lte":30        # <=30
            }
        }
    }
}
# 查詢18<=age<=30的全部數據
es.search(index="my_index",doc_type="test_type",body=body)

#前綴查詢

body = {
    "query":{
        "prefix":{
            "name":"p"
        }
    }
}
# 查詢前綴爲"趙"的全部數據
es.search(index="my_index",doc_type="test_type",body=body)

#通配符查詢

body = {
    "query":{
        "wildcard":{
            "name":"*id"
        }
    }
}
# 查詢name以id爲後綴的全部數據
es.search(index="my_index",doc_type="test_type",body=body)

#排序

body = {
    "query":{
        "match_all":{}
    }
    "sort":{
        "age":{                 # 根據age字段升序排序
            "order":"asc"       # asc升序，desc降序
        }
    }
}

#filter_path
響應過濾

# 只須要獲取_id數據,多個條件用逗號隔開
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._id"])

# 獲取全部數據
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._*"])

#count
執行查詢並獲取該查詢的匹配數

# 獲取數據量
es.count(index="my_index",doc_type="test_type")

#度量類聚合
獲取最小值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "min_age":{                 # 最小值的key
            "min":{                 # 最小
                "field":"age"       # 查詢"age"的最小值
            }
        }
    }
}
# 搜索全部數據，並獲取age最小的值
es.search(index="my_index",doc_type="test_type",body=body)

獲取最大值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "max_age":{                 # 最大值的key
            "max":{                 # 最大
                "field":"age"       # 查詢"age"的最大值
            }
        }
    }
}

# 搜索全部數據，並獲取age最大的值
es.search(index="my_index",doc_type="test_type",body=body)

獲取和

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "sum_age":{                 # 和的key
            "sum":{                 # 和
                "field":"age"       # 獲取全部age的和
            }
        }
    }
}
# 搜索全部數據，並獲取全部age的和
es.search(index="my_index",doc_type="test_type",body=body)

獲取平均值

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查詢
        "avg_age":{                 # 平均值的key
            "sum":{                 # 平均值
                "field":"age"       # 獲取全部age的平均值
            }
        }
    }
}
# 搜索全部數據，獲取全部age的平均值
es.search(index="my_index",doc_type="test_type",body=body)