ASP.NET Core Logging in Elasticsearch with Kibana

原文: ASP.NET Core Logging in Elasticsearch with Kibana

在微服務化盛行的今天，日誌的收集、分析愈來愈重要。ASP.NET Core 提供了一個統一的，輕量級的Logining系統，並能夠很方便的與第三方日誌框架集成。咱們也能夠根據不一樣的場景進行擴展，由於ASP.NET Core Logining系統設計的很是靈活性，咱們能夠很容易的添加本身的LogProvider。本文就來介紹一下如何藉助於 ELKstack 來實如今分佈式環境下的集中式日誌處理。

使用Docker部署Elasticsearch和Kibana

ELKstack是Elasticsearch、Logstash、Kibana三個開源軟件的組合，是當今最爲流行的統一日誌分析平臺。對於它們的介紹，網上很是之多，這裏就再也不多說。

在本文中只使用了Elasticsearch和Kibana，前者是分佈式搜索系統，後者是一個可視化平臺，使用docker來部署很是簡單：

部署Elasticsearch

以下，綁定端口9200，並將容器命名爲elasticsearch：

docker run --name=elasticsearch -d -p 9200:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" docker.elastic.co/elasticsearch/elasticsearch:6.2.2

而後在瀏覽器中打開 http://localhost:9200/，輸出以下：

{
    "name": "qFQvLqr",
    "cluster_name": "docker-cluster",
    "cluster_uuid": "bdc5YhZlQHu0mCN7acNKBw",
    "version": {
        "number": "6.2.2",
        "build_hash": "10b1edd",
        "build_date": "2018-02-16T21:01:30.685723Z",
        "build_snapshot": false,
        "lucene_version": "7.2.1",
        "minimum_wire_compatibility_version": "5.6.0",
        "minimum_index_compatibility_version": "5.0.0"
    },
    "tagline": "You Know, for Search"
}

部署Kibana

Kibana的部署依賴於Elasticsearch：

docker run --name=kibana --link=elasticsearch -d -p 5601:5601 docker.elastic.co/kibana/kibana:6.2.2

主要注意的是，在這裏使用了--link=elasticsearch來連接到elasticsearch容器，若是要使用外部的elasticsearch服務，可使用-e "elasticsearch.url=http://changeme:9200"來指定。

而後在瀏覽器中打開 http://localhost:5601/：

如上，部署成功，不過尚未任何數據。

使用docker-compose部署

當須要部署多個相關的服務時，更加推薦使用docker-compose來部署：

首先，咱們建立一個docker-compose.yml文件：

version: '3'
services:
  elasticsearch:
    image: docker.elastic.co/elasticsearch/elasticsearch:${TAG}
    container_name: elasticsearch
    environment:
      - http.host=0.0.0.0
      - transport.host=127.0.0.1
      - ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD}
    ports:
      - 9200:9200
    networks: 
      - stack

  kibana:
    image: docker.elastic.co/kibana/kibana:${TAG}
    container_name: kibana
    environment:
      - ELASTICSEARCH_USERNAME=kibana
      - ELASTICSEARCH_PASSWORD=${ELASTIC_PASSWORD}
    ports: 
      - 5601:5601
    networks: 
      - stack
    depends_on: 
      - elasticsearch

networks:
  stack:
    driver: bridge

如上，咱們定義了TAG和ELASTIC_PASSWORD兩個環境變量，方便在部署時候靈活的指定版本號和密碼。

爲方便測試部署，咱們能夠定義一個默認的環境變量文件.env：

TAG=6.2.2
ELASTIC_PASSWORD=Qwer1234

而後，直接運行以下命令便可：

docker-compose up

接下來，將日誌寫入到Elasticsearch。

記錄日誌到Elasticsearch

咱們建立一個 ASP.NET Core WebApi 項目，添加以下Package:

dotnet add package Zero.Logging.Elasticsearch --version 1.0.0-alpha3-20180228

添加ElasticsearchProvider

而後在Program.cs文件中使用AddElasticsearch擴展方法爲日誌系統添加ElasticsearchProvider：

public static IWebHost BuildWebHost(string[] args) =>
    WebHost.CreateDefaultBuilder(args)
        .ConfigureLogging((hostingContext, logging) =>
        {
            logging.AddElasticsearch();
        })
        .UseStartup<Startup>()
        .Build();

記錄日誌

對於日誌的記錄則不須要任何的修改：

public class ValuesController : Controller
{
    private readonly ILogger _logger;

    public ValuesController(ILogger<ValuesController> logger)
    {
        _logger = logger;
    }

    [HttpGet]
    public void Get()
    {
        _logger.LogTrace("Log Trace.");
        _logger.LogInformation("Log Information.");
        _logger.LogDebug("Log Debug.");
        try
        {
            throw new Exception("Boom");
        }
        catch (Exception ex)
        {
            _logger.LogCritical(1, ex, "Unexpected critical error starting application");
            _logger.LogError(1, ex, "Unexpected error");
            _logger.LogWarning(1, ex, "Unexpected warning");
        }
    }
}

在Kibana查看

刷新瀏覽器，顯示以下：

在Index pattern中輸入logstash-*，點擊下一步：

如上，選擇timestamp，建立索引，最終顯示以下：

配置

如上，一行代碼，零配置完成了Elasticsearch的寫入，默認使用的Elasticsearch地址爲http://localhost:9200，若是咱們須要額外的配置也很簡單，有以下兩種方式：

使用配置文件進行配置

在appsettings.json中添加以下配置（Elasticsearch節點）：

{
  "Logging": {
    "IncludeScopes": false,
    "Console": {
      "LogLevel": {
        "Default": "Warning"
      }
    },
    "Elasticsearch": {
      "LogLevel": {
        "Default": "Information"
      },
      "ElasticsearchUrl": "http://changeme:9200",
      "AutoRegisterTemplate": true
    }
  }
}

使用代碼進行配置

WebHost.CreateDefaultBuilder(args)
    .ConfigureLogging((hostingContext, logging) =>
    {
        logging.AddFile().AddElasticsearch(o =>
        {
            o.PipelineName = "http://changeme:9200";
            o.AutoRegisterTemplate = true;
        });
    })

須要注意，若是使用代碼的方式進行配置，則配置文件中的配置再也不生效。

更多的配置信息參見 EsLoggerOptions。

總結

因爲Log4Net, Nlog, Serilog 等流行的日誌框架的侵入性太強，故經過對各類開源框架的借鑑，徹底基於微軟的 Logging 設計思想開發了 zero-logging 框架，如今功能還較爲簡陋，計劃下一步實現結構化日誌分析，歡迎交流學習。

相關文章：ASP.NET Core 源碼學習之 Logging。