優化ElasticSearch寫入效率

 最近在做日誌蒐集系統,涉及到Kafka到ES的數據解析寫入,但是Kafka的寫入效率遠遠高於ES,造成大量的數據在Kafka中積累,且ES的數據更新非常緩慢,最終造成了在Kibana中查詢的時候發現,ES中的數據有接近9個小時的數據延遲,這顯然是不可接受的。因此,必須着手優化ES的寫入效率。在儘可能不改變已有配置的情況下,寫入效率優先可以考慮以下兩點。 必須使用bulk方式提交寫入數據 一開始我
相關文章
相關標籤/搜索