關於coreseek分佈式優化的心得

        近期運維發現搜索系統的內網流量常常超過百兆每秒，通過排查發現有時百度會批量抓取頁面，致使頁面上的相關內容搜索接口被大量調用，因爲搜索系統各服務器之間作了分佈式，因此大量的數據交換致使帶寬幾乎被佔滿。因而計劃取消服務器之間分佈式，經過互相拷貝索引數據後作單機多個實例作分佈式。上線一臺測試機後發現流量降得很低，可是平均負載比以前高出很多，經過vmstat命令發現cpu核心的使用數量很不均勻，常常從0跳到十幾。緣由是作成分佈式的時候，每次請求都會均勻的把查詢請求分佈到多臺服務器，再加上服務器之間的數據傳輸、解包會花費必定的時間，致使cpu核的使用更均勻，併發低，變化也更平緩。而採用單機分佈式，每次查詢幾乎沒有緩衝的時間，一次請求就併發使用多個核心，請求未輪詢到就是0，cpu使用率和變化率都很是不合理。

       最終採起了一部分本地，一部分遠程的分佈式配置方式，將內網傳輸流量和cpu核心使用調整到了一個相對合理狀態。關於系統優化須要將各個方面綜合考慮，調整宜緩不宜急。

轉載請註明出處：https://my.oschina.net/u/554660/blog/edit/1305255