ES寫入性能優化

背景: 有1億多的用戶畫像中數倉須要導入ES。大多數字段都是sql統計數據,沒法區分哪些發生了變化,因此不能增量更新。只能天天全量刷數據。在刷數據的過程當中出現了更新緩慢、內存問題。因而作了一些寫入優化。java * 解決方案: 1. 讀數據 首先要從數倉讀取出數據到內存。而後再組裝對象去ES刷數據字段比較多並且都須要查詢。嘗試了一下,即便limit 10,也須要耗時2分鐘。因此第一步導數據不能直
相關文章
相關標籤/搜索