ELK+Filebeat 實踐 Error : read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout

問題描述：

這是一個i/o time 的問題，通常考慮就是磁盤滿的問題。如下是我遇到的具體問題：

一、Kibana頁面刷新，沒有新數據出來，再次刷新或者點擊頁面上其餘地方，kibana就變成這樣了：

     這讓我就猜想存儲空間滿了。

二、看filebeat的log ,發現全是  read tcp 192.168.0.2:48968->121.40.216.20:5044: i/o timeout 這樣的log;

三、等到elk服務器上，想修改配置，發現修改不了，並報錯 "Write Error!(File System full?)"

這個時候確認磁盤滿了。

df -h 發現

進到目錄裏：

緣由：

主要是docker的device mapper存儲機制，它會把你全部的容器存儲到一個 100G 的簡短文件中，而且限制每一個容器最大爲 10GB 。所以這裏發現docker裏面/dev/mapper/docker-* 存儲已經10G滿了

解決方案：

清空兩個大文件，即 logstash-plain.log 和 logstash.stdout 。

方法：

輸入命令： # > logstash-plain.log