如何利用PostgreSQL實現海量數據無限空間存儲

今年的兩會和政府工做報告中屢次強調「增強新型基礎設施建設，發展新一代信息網絡，拓展5G應用」等拓展新基建的措施，年初爆發的新冠肺炎疫情也讓「新基建」初露鋒芒，互聯網+、5G、IoT、人工智能等新基建技術正在飛速發展。不管是最近十多年數字經濟寵兒的互聯網大數據技術，仍是將來躊躇滿志亟待發展的5G物聯網技術，都離不開海量數據的存儲與計算。隨着智能技術的推動和發展，如何在保證海量數據計算和存儲的安全性問題時，能高效利用數據庫計算能力計算熱數據而又能夠無限存儲冷數據成爲亟待解決的難題。

京東智聯云云數據庫PostgreSQL是京東智聯雲數據庫團隊歷時 1 年多精心研發的產品，該產品凝聚了京東智聯雲數據庫團隊多年來的PostgreSQL使用經驗，可以提供一個穩定、可靠的數據存儲服務。雲數據庫PostgreSQL易於部署、管理和擴展，默認支持主從熱備架構，提供數據備份、故障恢復、監控等全套解決方案，完全解決數據庫運維的煩惱。同時，京東智聯雲「雲數據庫 PostgreSQL」經過使用網絡隔離、白名單限制外網訪問等方式，爲數據庫服務提供了高級別的安全性需求，幫助用戶省去絕大部分複雜而繁瑣的管理工做，從而使用戶可以更專一於業務流程的開發與建設。雲數據庫PostgreSQL目前已上線支持9.六、10.六、11.二、12.2版本。

爲了實現冷熱數據分離，京東智聯雲基於雲數據庫PostgreSQL推出自研插件s3_fdw，該插件可實現雲數據庫PostgreSQL和對象存儲服務OSS雙向打通。用戶海量數據可無限存儲在OSS上，實時業務數據存儲在PostgreSQL作計算，在PostgreSQL計算完成後經過s3_fdw插件轉存在OSS上。

目前，s3fdw插件已普遍應用於京東物流相關業務。快遞配送員天天從各個快遞站點配送到用戶地區會產生大量的軌跡數據，而站點負責人只須要了解配送員當天的配送路線和配送效率，按期對配送員歷史軌跡和配送效率打分。在技術實現上，配送員天天會產生大量軌跡數據，最高達到TB級別。若是天天的軌跡都存在數據庫中很快就會達到存儲上限，而站長僅須要分析當天的數據做爲熱數據，歷史數據僅做爲按期分析場景的參考。所以，咱們能夠經過雲數據庫PostgreSQL實現當天配送員軌跡數據的存儲和分析，再經過s3_fdw把歷史軌跡數據按期同步到OSS上，實現冷熱數據分離。

使用s3_fdw插件打通雲數據庫PostgreSQL與OSS之間的數據流轉，無需複雜的程序操做，用戶僅須要幾行代碼，便可輕鬆實現。下面咱們就來展現在PostgreSQL中使用s3_fdw讀寫OSS外部表的操做過程：

# 準備數據postgres=# CREATE TABLE local_table(id integer, name character varying, password character varying);CREATE TABLEpostgres=# insert into local_table select generate_series(1,40000000), md5(random()::text), md5(random()::text);INSERT 0 40000000# 建立插件postgres=# create extension s3_fdw;CREATE EXTENSIONpostgres=# CREATE SERVER s3_fdw_server FOREIGN DATA WRAPPER s3_fdw options(host 's3-internal.cn-north-1.jdcloud-oss.com', bucket 'postgresql');CREATE SERVERpostgres=# CREATE USER MAPPING FOR CURRENT_USER SERVER s3_fdw_server OPTIONS (access_key_id 'xxxxxx', secret_access_key 'xxxxxx');CREATE USER MAPPING# 建立外部表postgres=# CREATE FOREIGN TABLE local_table_oss_1_10000000(id integer, name character varying, password character varying) SERVER s3_fdw_server OPTIONS(dir 's3_fdw_local_table/1_10000000/', format 'csv');CREATE FOREIGN TABLEpostgres=# CREATE FOREIGN TABLE local_table_oss_10000001_20000000(id integer, name character varying, password character varying) SERVER s3_fdw_server OPTIONS(dir 's3_fdw_local_table/10000001_20000000/', format 'csv');CREATE FOREIGN TABLEpostgres=# CREATE FOREIGN TABLE local_table_oss_20000001_30000000(id integer, name character varying, password character varying) SERVER s3_fdw_server OPTIONS(dir 's3_fdw_local_table/20000001_30000000/', format 'csv');CREATE FOREIGN TABLEpostgres=# CREATE FOREIGN TABLE local_table_oss_30000001_40000000(id integer, name character varying, password character varying) SERVER s3_fdw_server OPTIONS(dir 's3_fdw_local_table/30000001_40000000/', format 'csv');CREATE FOREIGN TABLE# 開啓4個客戶端，並行地將雲PostgreSQL實例的數據導入OSSpostgres=# insert into local_table_oss_1_10000000 select * from local_table where id <= 10000000;postgres=# insert into local_table_oss_10000001_20000000 select * from local_table where id >= 10000001 and id <= 20000000;postgres=# insert into local_table_oss_20000001_30000000 select * from local_table where id >= 20000001 and id <= 30000000;postgres=# insert into local_table_oss_30000001_40000000 select * from local_table where id >= 30000001 and id <= 40000000;# 直接讀取OSS數據源postgres=# select * from local_table_oss_1_10000000 limit 5;id |               name               |             password             ----+----------------------------------+----------------------------------1 | b6c4d3e0efff1ff051ed7989ade43287 | 2859055a8d51b2f8888993887340fe7d2 | f718eb7452c59bae2ee06dd88eae1488 | bd21f8468c8d2f5d7bb756a55203d2043 | 95735e3472903502f0a08dc895220ff9 | d06704faad7a247d29d6257af85d29064 | 3b690bb8912fe96567d04287fc9fa701 | d04ad214f9dd1d22cb680b72a0a9d0bb5 | 849842e47625c271de0221adc55608a6 | 8e961dcffcef418200f623c1b5f34d7f(5 rows)# 本地建立新表postgres=# create table local_table_2 (like local_table);CREATE TABLEpostgres=# select * from local_table_2;id | name | password ----+------+----------(0 rows)# 開啓4個客戶端，並行地將數據從OSS上load到雲PostgreSQL實例postgres=# insert into local_table_2 select * from local_table_oss_1_10000000;postgres=# insert into local_table_2 select * from local_table_oss_10000001_20000000;postgres=# insert into local_table_2 select * from local_table_oss_20000001_30000000;postgres=# insert into local_table_2 select * from local_table_oss_30000001_40000000;# 數據一致性校驗postgres=# select sum(hashtext(t.*::text)) from local_table t;sum       ----------------10851381716282(1 row)postgres=# select sum(hashtext(t.*::text)) from  local_table_2 t;sum       ----------------10851381716282(1 row)

<左右滑動以查看完整代碼>

詳細操做可點擊連接查看：

https://docs.jdcloud.com/cn/r..._fdw

以上能夠看出，利用s3_fdw經過PostgreSQL對OSS外部表進行讀寫，能夠很方便地實現對數據的清洗、過濾、導出。經過改變上文中的"insert into … select …」 語句中的select子句，能夠輕鬆達到數據處理的目的。除此以外，數據從PostgreSQL流轉到OSS後，另外一端並不必定是PostgreSQL才能load數據，很重要的一點是：京東智聯雲數據倉庫JDW，一樣提供了相似s3_fdw的插件，能夠將雲PostgreSQL導出的數據輕鬆load進雲JDW實例，進行數據分析。

總體架構圖以下所示：

經過上述內容，想必你們對雲數據庫PostgreSQL到OSS之間的數據流轉有了進一步的瞭解。經過在OSS上合理控制目錄結構並使用s3_fdw寫入數據，能夠輕鬆將雲PostgreSQL數據導入OSS中，進一步地，更能夠將OSS數據導入雲數據倉庫JDW，有效覆蓋OLTP和OLAP一體化的場景。還在爲海量數據存儲與計算煩惱麼？趕快試試京東智聯雲自研的s3_fdw插件，輕鬆搞定多樣化數據應用場景。

點擊"閱讀原文"，瞭解京東雲數據庫 PostgreSQL