Elasticsearch利用scroll查詢獲取全部數據

Elasticsearch有兩種分頁方式，一種是經過from和size條件來實現，可是該方法開銷比較大，另外一種是利用scroll來實現，經過scroll來實現分頁獲取全部的數據，下面是利用python實現的scroll獲取所有數據的方式：

 1 from elasticsearch import Elasticsearch
 2 
 3 if __name__ == "__main__":
 4     es=Elasticsearch([{"host":"10.120.241.194","port":"9200"}])
 5     query_json={
 6         "match": {
 7             "type":3
 8         }
 9     }
10     queryData = es.search(index='index', scroll='5m', timeout='3s', size=100, body={"query":query_json})
11 
12     mdata = queryData.get("hits").get("hits")
13     if not mdata:
14         print 'empty!'
15 
16     scroll_id = queryData["_scroll_id"]
17     total = queryData["hits"]["total"]
18     for i in range(total/100):
19         res = es.scroll(scroll_id=scroll_id, scroll='5m') #scroll參數必須指定不然會報錯
20         mdata += res["hits"]["hits"]
21         print res
22     print mdata

經過上面的方法就能夠獲取es中符合條件的全部記錄了。

 

若是出現{u'index': None, u'reason': {u'reason': u'No search context found for id [303859]', u'type': u'search_context_missing_exception'}這樣的問題，是由於代碼第19行沒有加上scroll參數