一行命令：從 ELK 遷移日誌服務

概述

日誌服務相比自建 ELK 在功能、性能、規模和成本等方面有諸多優點，參閱自建ELK vs 日誌服務(SLS)全方位對比。對於已經存儲在 Elasticsearch 中的數據，用戶只須要一行命令就能方便地將數據遷移至日誌服務。

數據遷移簡介

數據遷移顧名思義是指將數據從某個數據源遷移到另一個數據源。根據不一樣數據源存儲引擎是否相同，可分爲同源遷移和異構遷移。根據遷移類型的不一樣，可分爲全量遷移和增量遷移。
目前，各大雲計算廠商都提供了各自的數據遷移方案，如 AWS DMS，Azure DMA，阿里雲 DTS。這些方案主要專一於解決關係型數據庫間的數據遷移問題，還未覆蓋到 Elasticsearch 場景。

Elasticsearch 數據遷移方案

針對 Elasticsearch 場景，日誌服務團隊提供了基於 aliyun-log-python-sdk 和 aliyun-log-cli 的解決方案。該方案主要針對歷史數據作全量遷移。

原理

• 使用 Scroll API 從 Elasticsearch 抓取數據。Scroll API 能夠從 Elasticsearch 裏高效取出大量數據而無須付出深度分頁的代價。
• 針對 Elasticsearch 每一個 index 的每一個 shard 建立一個數據遷移任務，提交到內部進程池中執行，用來提升並行度和吞吐量。

功能

• 支持用戶將 Elasticsearch 中的全部文檔或某些索引中的文檔遷移至日誌服務指定的 project 中，工具會自動初始化好與索引同名的 logstore。
• 支持用戶自定義過濾條件，只遷移符合條件的文檔至日誌服務。
• 支持用戶自定義 Elasticsearch 的索引和日誌服務的 logstore 之間的映射關係。
• 支持用戶經過參數 pool_size 來控制數據遷移任務的並行度。
• 支持用戶自定義日誌字段 time、__source__、__topic__ 的取值。
• 支持使用 HTTP 基本認證從 Elasticserch 中遷移數據。

映射關係

Elasticsearch 數據模型中包含 - 索引（index），類型（type），文檔（document），映射（mapping），數據類型（field datatypes）等概念，它們和日誌服務中數據模型的映射關係以下表所示。

Elasticsearch	日誌服務	說明
index	logstore	容許用戶將多個 index 上的數據遷移至一個 logstore。
type	logItem 中的字段 __tag__:_type
document	logItem	Elasticsearch 的文檔和日誌服務中的日誌一一對應。
mapping	logstore 的索引	工具默認狀況下會爲您自動建立好索引。
field datatypes	logItem 數據類型	具體映射關係參考數據類型映射。

遷移命令

aliyun log es_migration --hosts=<your_es> --project_name=<your_project> --indexes=filebeat-* --logstore_index_mappings='{"nginx-access": "filebeat-*"}' --time_reference=@timestamp

查詢分析

1.以天爲單位統計各狀態碼的數量。

* | SELECT  date_trunc('day' ,  __time__)  as t, "nginx.access.response_code" AS status, COUNT(1) AS count GROUP BY status, t ORDER BY t ASC

2.統計請求分佈在哪些國家。

* | SELECT ip_to_country("nginx.access.remote_ip") as country, count(1) as count GROUP BY country

性能調優

工具的性能主要取決於從 Elasticsearch 中讀取數據的速度以及向日志服務寫入數據的速度。

Elasticsearch 讀取速度

Elasticsearch 中每一個 index 由多個 shard 組成。工具會爲每一個 index 的每一個 shard 建立一個數據遷移任務，並提交到內部進程池中執行（進程池大小可經過參數 pool_size 指定）。理論上目標 index 的 shard 越多，總體吞吐量越高。

日誌服務寫入速度

日誌服務也有 shard 的概念，單個 shard 提供 5MB/s，500次/s 的寫入能力。您能夠經過爲 logstore 開啓更多的 shard 來提升向日志服務寫入數據的速度。

性能數據

在 Elasticsearch 目標 index 只有1個 shard，日誌服務 logstore 也只有1個 shard，單個文檔大小 100B 的狀況下，平均數據遷移速率爲 3MB/s。

參考資料

• CLI 方式使用文檔 - https://github.com/aliyun/aliyun-log-cli/blob/master/doc/tutorials/tutorial_es_migration_cn.md
• CLI 配置文檔 - https://aliyun-log-cli.readthedocs.io/en/latest/tutorials/tutorial_configure_cli_cn.html
• SDK 方式使用文檔 - https://github.com/aliyun/aliyun-log-python-sdk/blob/master/doc/tutorials/tutorial_es_migration.md

 

文章連接 ：http://click.aliyun.com/m/1000012772/