Docker-搭建日誌監控系統

項目中經常使用集中日誌收集工具

• Logstash

Logstash是一個開源數據收集引擎，具備實時管道功能。Logstash能夠動態地未來自不一樣數據源的數據統一塊兒來，並將數據標準化到你所選擇的目的地。

• 優勢

  Logstash 主要的有點就是它的靈活性，主要由於它有不少插件，詳細的文檔以及直白的配置格式讓它能夠在多種場景下應用。咱們基本上能夠在網上找到不少資源，幾乎能夠處理任何問題。

• 缺點

  Logstash 致命的問題是它的性能以及資源消耗(默認的堆大小是 1GB)。儘管它的性能在近幾年已經有很大提高，與它的替代者們相比仍是要慢不少的。這裏有 Logstash 與 rsyslog 性能對比以及Logstash 與 filebeat 的性能對比。它在大數據量的狀況下會是個問題。

• Filebeat

做爲 Beats 家族的一員，Filebeat 是一個輕量級的日誌傳輸工具，它的存在正彌補了 Logstash 的缺點：Filebeat 做爲一個輕量級的日誌傳輸工具能夠將日誌推送到中心 Logstash。

• 優勢

  Filebeat 只是一個二進制文件沒有任何依賴。它佔用資源極少，儘管它還十分年輕，正式由於它簡單，因此幾乎沒有什麼能夠出錯的地方，因此它的可靠性仍是很高的。它也爲咱們提供了不少能夠調節的點，例如：它以何種方式搜索新的文件，以及當文件有一段時間沒有發生變化時，什麼時候選擇關閉文件句柄。

• 缺點

  Filebeat 的應用範圍十分有限，因此在某些場景下咱們會碰到問題。例如，若是使用 Logstash 做爲下游管道，咱們一樣會遇到性能問題。正由於如此，Filebeat 的範圍在擴大。開始時，它只能將日誌發送到 Logstash 和 Elasticsearch，而如今它能夠將日誌發送給 Kafka 和 Redis，在 5.x 版本中，它還具有過濾的能力。

• Fluentd （Docker日誌驅動支持）

Fluentd 建立的初衷主要是儘量的使用 JSON 做爲日誌輸出，因此傳輸工具及其下游的傳輸線不須要猜想子字符串裏面各個字段的類型。這樣，它爲幾乎全部的語言都提供庫，這也意味着，咱們能夠將它插入到咱們自定義的程序中。

• 優勢

  和多數 Logstash 插件同樣，Fluentd 插件是用 Ruby 語言開發的很是易於編寫維護。因此它數量不少，幾乎全部的源和目標存儲都有插件(各個插件的成熟度也不太同樣)。這也意味這咱們能夠用 Fluentd 來串聯全部的東西。

• 缺點

  由於在多數應用場景下，咱們會經過 Fluentd 獲得結構化的數據，它的靈活性並很差。可是咱們仍然能夠經過正則表達式，來解析非結構化的數據。儘管，性能在大多數場景下都很好，但它並非***的，和 syslog-ng 同樣，它的緩衝只存在與輸出端，單線程核心以及 Ruby GIL 實現的插件意味着它大的節點下性能是受限的，不過，它的資源消耗在大多數場景下是能夠接受的。對於小的或者嵌入式的設備，可能須要看看 Fluent Bit，它和 Fluentd 的關係與 Filebeat 和 Logstash 之間的關係相似。

使用Docker-Compose搭建EFK收集中心

1. 建立docker-compose.yml

新建一個efk目錄，而後進入目錄下：

version: '3'
services:
  web:
    image: httpd
    ports:
      - "80:80"
    links:
      - fluentd
    logging:
      driver: "fluentd"
      options:
        fluentd-address: localhost:24224
        tag: httpd.access

  fluentd:
    build: ./fluentd
    volumes:
      - ./fluentd/conf:/fluentd/etc
    links:
      - "elasticsearch"
    ports:
      - "24224:24224"
      - "24224:24224/udp"

  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.10.2
    environment:
      - "discovery.type=single-node"
    expose:
      - "9200"
    ports:
      - "9200:9200"

  kibana:
    image: kibana:7.10.1
    links:
      - "elasticsearch"
    ports:
      - "5601:5601"

2. 建立fluentd鏡像以及配置config與插件

新建 fluentd/Dockerfile

FROM fluent/fluentd:v1.12.0-debian-1.0
USER root
RUN ["gem", "install", "fluent-plugin-elasticsearch", "--no-document", "--version", "4.3.3"]
USER fluent

新建 fluentd/conf/fluent.conf

<source>
  @type forward
  port 24224
  bind 0.0.0.0
</source>

<match *.**>
  @type copy

  <store>
    @type elasticsearch
    host elasticsearch
    port 9200
    logstash_format true
    logstash_prefix fluentd
    logstash_dateformat %Y%m%d
    include_tag_key true
    type_name access_log
    tag_key @log_name
    flush_interval 1s
  </store>

  <store>
    @type stdout
  </store>
</match>

3. 啓動服務

docker-compose up

4. 屢次請求httpd服務生成日誌

$ curl localhost:80

5. 驗證日誌收集

打開瀏覽器訪問http://localhost:5601

初始化建立fluentd-*索引

建立索引

此時能夠看到Httpd 生成的日誌已經被收集

log

使用fluentd收集關鍵點

1. 如何指定fluentd驅動

• 修改daemon.json（全局）

  "log-driver":"fluentd",
  "log-opts":{
   "fluentd-address":"192.168.0.133:24224"
  },
  

• 單個容器

  # 啓動增長 
  --fluentd-address=localhost:24224  --log-driver=fluentd
  #注意：注意，此時若是fluentd服務掛了 服務啓動不起來的，能夠在服務啓動時候 加上
  --log-opt=fluentd-async-connect
  

結束

歡迎關注公衆號！ 公衆號回覆:入羣 ，掃碼加入咱們交流羣！