es技術規劃

1、業務背景

es服務當前沒有專門的部門負責維護和開發，交由各端自行負責維護，隨着公司業務查詢和統計需求很是多，會面臨居多方面問題和挑戰：

• 無人(專業RD或部門)負責
• 無專業的人進行維護，遇到問題幾乎無人處理
• 缺少性能評估
• 查詢和統計相關語句執行無指標評價體系
• 運維效率較低
• 無操做友好且高效的web管理平臺
• 質量評估缺失
• 監控報警體系不完善
• 缺少運維體系建設
• 無集羣性能評估和壓測報告
• 無容災容錯措施
• 無遷移擴容方案
• 無最佳實踐(容量、集羣規模、jvm配置等等)
• 無優化方案

2、業務目標

• 提效率降成本，web自動化運維平臺建設
• 優化性能，服務治理體系建設(SOP、調優)
• 集羣性能評估，提供性能、壓測方案
• 保障質量，監控報警、數據報表完善和SLA
• 節約資源，進行集羣規劃和梳理，逐步收斂集羣規模。 1.下線富餘機器  2.相應機器降配置
• 新增安全性，新增鑑權模塊，實現訪問隔離和安全驗證
• 索引同步保證，保證數據一致性、正確性、實時性

3、技術規劃

es成果落地分期進行，每期以季度爲單位，每季度都要規劃具體開發和落地任務以及完成時間

一期計劃：

• 監控報警完善，報警考慮與第三方組件集成，例如運維體系、釘釘集成等
• 優化性能，集羣性能調優、部署架構調整、集羣分類。
• 創建各類SOP（安裝、機器配置、jvm配置、重啓、遷移、擴容等）
• 收斂集羣規模和數量，下線富餘機器。例若有的節點128G根本用不了，純屬浪費資源
• 測試方案，性能測試、功能測試、可靠性測試(各類容災容錯場景)、es版本升級與兼容性測試

二期計劃：

• 建平臺，推動web自動化運維平臺建設
• 多集羣管理(瀏覽、增減)
• 節點管理(瀏覽、增減)
• 業務接入評估公式和規範
• 業務申請入口
• 類SQL支持/統計查詢性能，集成官方SQL插件

三期計劃：

• 架構升級優化，增長代理層
• 經過代理層檢索服務，實現限流，超時，重試機制
• 大集羣業務訪問隔離

5、開發任務

人力需求規劃：需求2人  一期計劃  1人負責測試方案落地，容錯容災機制，保障集羣穩定性  1人負責各類sop和演練，參與部分優化工做

 

引用博客地址：http://www.javashuo.com/article/p-kluprzwk-cz.html