.Net輕鬆處理億級數據--ClickHouse數據操做

該篇內容由我的博客點擊跳轉同步更新！轉載請註明出處！

我不喜歡拿一堆數據的運行耗時來對比各個解決方案的性能等，有時候看一些測評長篇大論寫耗時的一些對比，有時就差個 幾百毫秒 我以爲也沒啥必要，關鍵是好用就行，一切從簡，我寫博客也喜歡一切從簡。
.Net操做Clickhouse的庫比較少，大多數都是基於ClickHouse.ADO的一個封裝，下面也主要介紹一下ClickHouse.ADO的使用，以及本身封裝的一個庫的使用。

前言

Clickhouse適用於大數據量分析，個人應用場景是每十秒從公交軌跡中取固定時間段數據分析一些狀況，電腦配置就是普通的開發配置，整體數據軌跡量在3億左右，處理的數據時間段在一天之內，取出的數據量在2.3萬條左右。你們能夠當個借鑑！

具體操做

1、簡單的查詢和新增以及批量新增（Clickhouse不推薦數據的編輯和刪除此處就再也不舉例）

public class Demo
{
        private ClickHouseConnection GetConnection(string cstr= "Compress=True;CheckCompressedHash=False;Compressor=lz4;Host=ch-test.flippingbook.com;Port=9000;Database=default;User=andreya;Password=123")
        {
            var settings = new ClickHouseConnectionSettings(cstr);
            var cnn = new ClickHouseConnection(settings);
            cnn.Open();
            return cnn;
        }
        /*查詢*/
        public void Select()
        {
            using (var cnn = GetConnection())
            {
                var reader = cnn.CreateCommand("SELECT * FROM test").ExecuteReader()
                ......省略
            }
        }
        /*增長*/
        public void Insert()
        {
            using (var cnn = GetConnection())
            {
                var cmd = cnn.CreateCommand("INSERT INTO test (date,x, arr)values ('2017-01-01',1,['a','b','c'])");
                cmd.ExecuteNonQuery();
            }
        }
        /*批量新增*/
        public void InsertBulk()
        {
            using (var cnn = GetConnection())
            {
                var cmd = cnn.CreateCommand("INSERT INTO test (date,x, values.name,values.value)values @bulk;");
                cmd.Parameters.Add(new ClickHouseParameter
                {
                    DbType = DbType.Object,
                    ParameterName = "bulk",
                    Value = new[]
                    {
                        new object[] {DateTime.Now, 1, new[] {"aaaa@bbb.com", "awdasdas"}, new[] {"dsdsds", "dsfdsds"}},
                        new object[] {DateTime.Now.AddHours(-1), 2, new string[0], new string[0]},
                    }
                });
                cmd.ExecuteNonQuery();
            }
        }
}

2、鑑於使用原始方法讀取數據後轉換的方式太麻煩，分頁等也須要本身實現，因此寫了一個幫助類，方便操做Clickhouse，點擊跳轉

使用方式也很簡單，以下：

public HistoryModel GetHistories(string busid, string begindt, string enddt)
        {
            using (var helper = new ClickHouseHelper())
            {
                try
                {
                    HistoryModel historyModel = new HistoryModel();
                    historyModel.Histories = helper .ExecuteList<HistoriesModel>($"select mile,speed,lon,lat,direct,termtime from its.gps_MergeTree where termtime >='{begindt}' and termtime<='{enddt}' and busid={busid} order by termtime");
                    historyModel.Inouts = helper .ExecuteList<InoutModel>($"SELECT * FROM its.inout_t WHERE Adtime>='{begindt}' and Adtime<='{enddt}' and Busid={busid} order by Recvtime");
                    //clickhouse中取出來的時間默認會有時區的問題，這裏須要手動轉下本地的時區
                    historyModel.Histories.ForEach(u => u.termtime = DateTime.Parse(u.termtime).ToLocalTime().ToString("yyyy-MM-dd HH:mm:ss"));
                    historyModel.Inouts.ForEach(u => u.Recvtime = u.Recvtime.ToLocalTime());
                    return historyModel;
                }
                catch (Exception e)
                {
                    ckhelper.Dispose();
                    Console.WriteLine(e);
                    throw;
                }
            }
        }

3、一些小問題記錄

1. 時區問題
   Clickhosue中取出來的時候會多8個小時，以前一度懷疑安裝時服務器時區不對，但實際上都是正確的，只能手動將時間經過ToLocalTime轉成本地時區
2. 批量插數據
   批量插數據的時候若是傳入一個List的話，對應的類須要增長GetEnumerator方法，就像這樣

public class Demo
{
     public string obu { get; set; }
     public int busid { get; set; }
     public string buscode { get; set; }
     public IEnumerator GetEnumerator()
        {
            yield return obu;
            yield return busid;
            yield return buscode;
            .....
        }
}

1. 類型統一問題
   具體參考個人這篇文章 點擊跳轉

微信關注我哦！(轉載註明出處)