greenplum 億級數據導入測試

一、啓動gpfdist服務

後臺啓動：nohup  ./gpfdist -d /data1/gpfdist/ -p 5439 -t 600 -l /data1/gpfdist/gpfdist.log &

二、建立外表　　

CREATE EXTERNAL TABLE "external_位置" (
"id" varchar(64),
"type" varchar(64),
"start" varchar(64),
"end" varchar(64),
"縱座標" varchar(64)
) LOCATION ('gpfdist://10.20.20.85:5439/relation_位置.csv') format 'csv' (DELIMITER ',');

三、插入數據至目標表

insert into rel_就讀於(_id,縱座標,_from_entity_id,_to_entity_id,_create_user,_create_time) select _id,縱座標,"start","end",'001' as _create_user,'2019-01-04 14:32:01.212' as _create_time  from external_就讀於;

注：會將整個csv文件加載至緩存中，若是文件過大，即時清理服務器緩存 ，或將大文件拆分至多個小文件串行執行。

四、性能分析

a、 查看正在執行的sql：select datname,usename,procpid,sess_id,current_query from pg_stat_activity  where current_query LIKE 'insert%';

b、關閉正在執行的sql進程：select pg_cancel_backend(24562) ;

c、查看服務器內存狀況：free -g

d、清理服務器緩存  sudo echo 3 > /proc/sys/vm/drop_caches

五、性能指標

文件大小 數據條數  用時

32G 250000001 17min

76G 650000001  80min