Deepgreen與Greenplum TPC-H性能測試對比（使用VitesseData腳本）

時間 2019-11-10

標籤 deepgreen greenplum tpc 性能測試對比使用 vitessedata 腳本欄目系統性能简体版

原文原文鏈接

前兩天發了一篇基於德哥測試腳本的測試對比文章《Deepgreen與Greenplum TPC-H性能測試對比（使用德哥腳本）》，因爲測試數據量少，兩個數據庫有幾輪測試都是1秒持平，可是大多數測試Deepgreen均優於Greenplum，有的甚至快至百倍，感興趣的朋友能夠再回頭看看。python

今天分享一下Deepgreen提供的TPC-H測試腳本，這個腳本分爲浮點類型、數值類型兩類進行22輪測試，更加細化，而且結果值更加中肯。linux

1、測試環境git

服務器 IP 節點github

Master 192.168.100.107 1 Master數據庫

Segment1 192.168.100.107 3 instance服務器

Segment2 192.168.100.106 3 instancessh

軟件版本：工具

Greenplum 4.3.12性能

Deepgreen 16.17測試

2、TPC-H腳本安裝

腳本放在github上，有3種方式能夠下載，爲方便你們，分別介紹一下：

1.若是已經與github主機創建ssh互信（點此訪問創建方法）：

使用語句克隆repo：git clone git@github.com:cktan/bench.git

初始化子模塊（tpch-dbgen）：

cd bench;

git submodule init

git submodule update

2.若是懶得創建ssh互信，可是本機裝有git工具：

克隆bench：git clone https://github.com/vitessedata/bench

切換目錄：cd bench

克隆tpch-dbgen模塊：git clone https://github.com/electrum/tpch-dbgen

3.若是你機器上什麼都沒有，或者不能直接訪問外網：

訪問 - https://github.com/vitessedata/bench，點擊右側clone or download按鈕，下載zip包

訪問 - https://github.com/electrum/tpch-dbgen，點擊右側clone or download按鈕，下載zip包

將兩個壓縮包整合上傳到服務器解壓縮，並把tpch-dbgen文件夾放到bench下面

4.登陸服務器從新編譯：

cd bench/tpch-dbgen

make clean

rm *.tbl

make

3、執行測試

1.生成測試文件、初始化數據庫、加載數據：

[dgadmin@linux1 bench]$ python create.py 10f

1. dbgen 10

TPC-H Population Generator (Version 2.14.0)

2. createdb tpch10f

3. mktab

4. mkview

5. load

customer

lineitem

nation

orders

part

partsupp

region

supplier

6. analyze

WARNING: skipping "__gp_localid" --- cannot analyze indexes, views, external tables or special system tables

WARNING: skipping "__gp_masterid" --- cannot analyze indexes, views, external tables or special system tables

WARNING: skipping "__gp_log_segment_ext" --- cannot analyze indexes, views, external tables or special system tables

WARNING: skipping "__gp_log_master_ext" --- cannot analyze indexes, views, external tables or special system tables

WARNING: skipping "gp_disk_free" --- cannot analyze indexes, views, external tables or special system tables

備註：create.py腳本解讀：

該腳本用於建立測試數據文件、建立數據庫、初始化表、初始化試圖、加載數據文件到數據庫表、Analyze數據庫。

它接受一個參數，用於指定測試的數據類型及數據量，具體以下：

1f: scale 1 with float8 type
1n: scale 1 with numeric type
10f: scale 10 with float8 type
10n: scale 10 with numeric type

2.執行測試：

[dgadmin@linux1 bench]$ python run.py 10f

WARNING: "work_mem": setting is deprecated, and may be removed in a future release.

ERROR: unrecognized configuration parameter "vitesse.thread"

WARNING: "work_mem": setting is deprecated, and may be removed in a future release.

ERROR: unrecognized configuration parameter "vitesse.thread"

備註：run.py腳本解讀：該腳本用於執行測試，腳本接受一個參數，指定測試類型及數據量，與create.py腳本參數一致。

4、對比結果

最終結果分四列展現，分別爲：查詢編號、Greenplum查詢耗時、Deepgreen查詢耗時、加速倍數。下面爲10G數據量解釋結論：

1.float8:

1 13514 2399 5.63

2 1850 616 3.00

3 6011 1930 3.11

4 5647 1566 3.61

5 5688 1711 3.32

6 3432 859 4.00

7 5651 1803 3.13

8 5357 1773 3.02

9 12323 4253 2.90

10 7532 3818 1.97

11 1933 1343 1.44

12 5605 1727 3.25

13 5422 3337 1.62

14 3433 999 3.44

15 7222 1970 3.67

16 1969 761 2.59

17 22211 7526 2.95

18 15879 4745 3.35

19 4274 1842 2.32

20 6826 2915 2.34

21 18977 4274 4.44

22 6388 2493 2.56

tot: 167144 54660 3.06

2.numeric:

[dgadmin@linux1 bench]$ python run.py 10n

WARNING: "work_mem": setting is deprecated, and may be removed in a future release.

ERROR: unrecognized configuration parameter "vitesse.thread"

WARNING: "work_mem": setting is deprecated, and may be removed in a future release.

ERROR: unrecognized configuration parameter "vitesse.thread"

1 32405 21151 1.53

2 2303 702 3.28

3 5934 1969 3.01

4 5653 1766 3.20

5 5471 1673 3.27

6 4307 1264 3.41

7 5396 1889 2.86

8 6055 1913 3.17

9 11853 4544 2.61

10 6006 2696 2.23

11 2153 1299 1.66

12 5619 2284 2.46

13 5417 3429 1.58

14 3526 1136 3.10

15 8265 2910 2.84

16 1768 808 2.19

17 23811 14610 1.63

18 40284 28665 1.41

19 4321 2359 1.83

20 7177 4440 1.62

21 16938 5039 3.36

22 6439 2685 2.40

tot: 211101 109231 1.93

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。