PG參考資料

時間 2019-12-01

標籤參考資料简体版

原文原文鏈接

轉載自：http://blog.163.com/digoal@126/blog/static/16387704020141229159715/
但願經過這些視頻幫到一些朋友, 同時對視頻中的錯誤點煩請讀者指出以更正, 謝謝.
目前在更新的視頻是《PostgreSQL 數據庫管理 5天》和《PostgreSQL 性能優化 3天》.
在線觀看地址 :
http://www.tudou.com/home/digoal/
培訓視頻源文件以及文檔下載地址 :
http://pan.baidu.com/share/home?uk=1982970774#category/type=0html

針對一些網友的反饋, 從新設計的培訓內容以下, 由淺入深, 適合不一樣的人羣. 包含
《PostgreSQL發展歷程,社區介紹,資源介紹 2小時》
《PostgreSQL SQL基礎 2天》
《PostgreSQL 數據庫管理 3天》
《PostgreSQL 數據庫備份與恢復, 數據複製, 負載均衡與高可用 3天》
《PostgreSQL 服務端編程 3天》
《PostgreSQL 性能優化 3天》
《PostgreSQL 大數據應用 3天》
《PostgreSQL 內核 2天》
《PostgreSQL 應用案例 n天》
我的技術水平有限, 應用案例的培訓誠邀有經驗的技術人員分享以拓展應用面, 譬如遊戲開發者, 大數據分析產品的開發者等.前端

詳細的課程內容以下 :
《PostgreSQL發展歷程,社區介紹,資源介紹 2小時》python

《PostgreSQL SQL基礎 2天》
第一天
PostgreSQL的安裝, 架構基礎介紹, 如何建立和訪問數據庫;
SQL語言基礎(建立表, 操做表數據, 表關聯查詢, 聚合查詢);
SQL高級應用(視圖, 外鍵, 事務, 窗口函數, 繼承);
SQL語義結構介紹(關鍵字, 常量, 操做符, 特殊字符, 註釋, 操做符的優先級);
值表達式介紹(列, 位置參數, 數組下標, field引用, 操做符調用, 函數調用, 聚合表達式, 窗口函數調用, 類型轉換, collate表達式, 標量子查詢, 數組構造器, 行構造器, 表達式邏輯運算規則);
函數調用用法介紹(位置參數調用, 命名參數調用, 混合調用);
數據定義(默認值, 約束, 系統列, 表結構和定義修改, 權限, schema, 繼承, 分區, 外部數據);
次日
數據查詢(from子句, where子句, group by having子句, 窗口子句, select子句, 結果集合操做, 排序, 限制, 位移, values子句, CET用法);
數據類型(數字, 貨幣, 字符, 字節, 時間, 布爾, 枚舉, 幾何, 網絡, 比特, 文本搜索, UUID, XML, JSON, 數組, 複合類型, 範圍類型, 對象類型, 僞類型);
函數與操做符(邏輯, 比較, 數學運算, 字符串, 字節流, 比特位, 樣式匹配, 格式化, 時間, 枚舉, 幾何, 網絡, 全文檢索, XML, JSON, 序列, 條件, 數組, 範圍, 聚合, 窗口, 子查詢, 行與數組的比較, SRF函數, 系統信息函數, 系統管理函數, 觸發器函數, 事件觸發器函數);
類型轉換;
索引用法;
全文檢索用法;
並行控制;
SQL性能優化;mysql

《PostgreSQL 數據庫管理 3天》
第一天
PostgreSQL源代碼安裝(源碼結構介紹, 配置介紹, 自定義FLAG介紹, 內核參數優化, 安裝);
數據庫服務器配置(OS USER, 初始化集羣, 啓動數據庫集羣, 關閉數據庫集羣, 升級數據庫軟件, 防止欺騙, 數據封裝方法, SSL, SSH隧道)
數據庫集羣進程結構介紹(postmaster, logger, checkpointer, writer, wal writer, autovacuum launcher, autovacuum worker, stats collector, backend, worker);
認證和鏈接(客戶端認證方法介紹, 認證配置, 經常使用認證方法使用舉例, 常見認證錯誤排錯);
pgAdmin III 使用介紹(安裝, 使用, 調試函數, 維護數據);
數據庫配置(guc.c, 參數優先級, 參數含義, 開發參數, guc隱含參數, 如何修改參數並使之生效, 如何查看當前參數值, 如何查看參數值的範圍);
用戶管理(建立角色, 角色權限管理, 角色membership管理, 角色成員權限管理);
數據庫邏輯結構(cluster, database, schema, object, field, access privilege);
數據庫物理結構(tablespace, datafile, segment, block, controlfile, xlog, archivelog);
次日
數據庫管理(建立表空間, 建立數據庫, 建立數據庫模板, 數據庫配置, 刪除數據庫, 跨數據庫的數據訪問);
基於角色的對象權限管理(表, 列, 序列, 數據庫, 域, 外部數據, 函數, 語言, 大對象, schema, 表空間, 類型);
默認權限和繼承權限(default privilege, inherit privilege);
數據庫安全(認證, 網絡, 數據存儲, 密碼, 注入, 欺騙);
數據庫監控(狀態監控, 趨勢監控, 預警, 經常使用監控工具和插件nagios, zabbix, pg_statsinfo);
多版本併發控制和垃圾回收;
平常維護(垃圾回收, 數據重組, 索引維護, VM維護, 預防XID溢出, 日誌維護);
第三天
數據遷移(邏輯備份和還原, 增量數據遷移的方法, 異構數據遷移的方法(如oracle to postgresql));
如何打數據庫補丁;
數據庫版本升級(小版本升級方法, 大版本升級方法);
建模與Benchmark(如何根據業務形態創建數據庫測試模型, 測試工具的使用, 根據測試模型和硬件標準輸出benchmark);
數據庫日誌分析(錯誤代碼介紹, 日誌的篩選過濾, 日誌的維護);
數據庫審計(參數層面的審計開關, 定製化審計(如觸發器結合HSTORE), 審計數據的維護手段);
本地化(字符集, collate, 編碼轉換, 如何防止亂碼);
數據庫性能分析(OS性能分析報表, SQL性能分析報表);
數據庫巡檢(如何定製巡檢項, 指標, 如何分析巡檢報告);ios

《PostgreSQL 數據庫備份與恢復, 數據複製, 負載均衡與高可用 3天》
第一天
邏輯數據備份和還原(定製備份目標, 備份集壓縮, 編輯TOC文件, 可選還原, 文本還原, 命令詳解pg_dump, pg_dumpall, pg_restore);
物理數據備份和基於時間點,XID,還原點的還原(物理備份原理, 參數配置, fsync接口可靠性測試, 歸檔腳本編寫, 備份演示, 三種還原截止的演示, WAL不寫場景的數據修正方法);
邏輯備份設計案例(在被管理的數據庫較多的場景中, 如何設計集中備份和元數據的管理, 分佈式文件系統的應用);
物理備份設計案例(在被管理的數據庫較多的場景中, 如何設計集中備份和元數據的管理);
數據庫流複製概念(流複製協議的介紹, 同步和異步的流複製架構, 相關的參數, 利用流複製協議的命令講解pg_basebackup, pg_receivexlog);
容災設計案例(log shipping, stream replication異地容災架構, 容災須要考慮的WAN網絡安全, 數據加密, 數據壓縮, 網絡穩定性等問題);
次日
數據複製的分類和應用場景(中間件數據分發的前端複製, 基於觸發器的後端複製, 基於塊變動的物理複製, 基於xlog的邏輯複製);
前端數據複製應用案例(pgpool-II);
後端數據複製應用案例(londiste3, slony-I, 觸發器);
物理複製應用案例(同步和異步stream replication, log shipping);
XLOG邏輯複製應用案例(stream replication 9.4);
standby在升級PostgreSQL版本中的應用舉例
第三天
高可用方案(介紹高可用的兩種架構以及優缺點 - 共享存儲, replication standby; 這兩種HA架構的具體實施方法; 流複製HA的使用注意事項, WAL不寫場景, 異步場景的角色切換);
負載均衡案例(讀寫分離架構以及實現方法舉例(pgpool-II), 讀寫負載均衡架構以及實現方法舉例(pgpool-II,plproxy,pg-xc));web

《PostgreSQL 服務端編程 3天》
第一天
SQL函數(參數: 基本類型, 複雜類型, OUTPUT, 可變參數, 默認值, 表參數; 返回結果集; 返回表; 任意類型參數)
函數重載(同名, 可是參數類型不一樣或參數個數不一樣)
函數穩定性(volatile, stable, immutable詳解)
函數成本和執行計劃
函數PLAN CACHE
次日
過程語言(安裝語言, 語言可信度, plpgsql, plpython, …)
觸發器
事件觸發器
規則系統
第三天
C語言函數
聚合函數開發
函數內容加密
模塊發佈
代理函數語言(針對大數據的scale out, plproxy)redis

《PostgreSQL 性能優化 3天》
第一天
硬件架構(CPU,內存,磁盤,存儲緩存,存儲可靠性)
硬件benchmark(cpu, 內存, 塊設備)
文件系統特性以及優化(ext4, xfs, zfs, btrfs, …)
內核參數優化
緩存(本地緩存shared buffer, os cache; 外部緩存memcached, redis)
參數調優
多版本併發控制, 鎖, 垃圾回收, HOT, 如何減小產生垃圾
次日
建模和壓力測試, 數據庫benchmark(tpc-b, 自定義benchmark)
索引(btree, hash, gin, gist, spgist索引用法, 複合索引, 排他索引, 部分索引, 函數索引, 全文檢索)
查詢優化(柱狀圖, 成本因子以及校準, explain, 數據訪問開關, plan cache, 函數三態, join優化, geqo, CET, 窗口函數)
統計信息(pg_stat*, pg_statio*)
狀態監控和趨勢報表
第三天
鏈接池
讀寫分離
數據分區(本地分區, 異地分區)
負載均衡
DEBUG, TRACE, 性能分析工具
性能優化案例算法

《PostgreSQL 大數據應用 3天》
第一天
本地數據分區
異地數據分區
負載均衡
物化視圖在大數據中的應用
加速數據加載
加速數據導出
plproxy的架構以及用法
次日
londiste3的架構以及用法
pg-xc的架構以及用法
pgpool-II的架構以及用法
第三天
citusdb的架構以及用法
greenplum的架構以及用法
fdw for MPP
實時大數據統計案例sql

《PostgreSQL 內核 2天》
第一天
進程結構
backend工做流(初始化工做流, 主查詢工做流, 命令, 輔助進程)
次日
探針
動態內核跟蹤mongodb

《PostgreSQL 應用案例 n天》
這部份內容大多來自我寫過的BLOG, 針對之前寫過的一些和PG相關的專題文章細化再以視頻的形式演示和講解方便讀者理解, 適合有PostgreSQL基礎的朋友.

PostgreSQL 性能優化視頻(18集全) :
18. 性能優化培訓 - 綜合優化案例
http://www.tudou.com/programs/view/UeXudDhDaHU/
17. 性能優化培訓 - 性能分析工具3, pg_statsinfo的使用(與DBA培訓同集)
http://www.tudou.com/programs/view/5SUCgb7_hsY/
16. 性能優化培訓 - 性能分析工具2, pg_stat_statements
http://www.tudou.com/listplay/JW66CCxpr-s/xkOD3u8kQkE.html
15. 性能優化培訓 - 性能分析工具1, sar
http://www.tudou.com/listplay/JW66CCxpr-s/qX8HOgBZu2M.html
14. 性能優化培訓 - PostgreSQL壓力測試工具pgbench講解
http://www.tudou.com/listplay/JW66CCxpr-s/OUl0DLhiJwg.html
13. 性能優化培訓 - 如何讓數據庫輸出好的執行計劃, 訪問開關, 指定表關聯順序, 遺傳算法
http://www.tudou.com/listplay/JW66CCxpr-s/dS2x85nosBw.html
12. 性能優化培訓 - PostgreSQL鎖的詳解
http://www.tudou.com/listplay/JW66CCxpr-s/OsRGPcGEL9M.html
11. 性能優化培訓 - PostgreSQL事務隔離級別講解
http://www.tudou.com/listplay/JW66CCxpr-s/2sqzjiuqKFY.html
10. 性能優化培訓 - 函數的三種穩定性狀態對優化器的影響分解講解
http://www.tudou.com/programs/view/p6E3oQEsZv0/
9. 性能優化培訓 - PostgreSQL trace & debug (跟蹤和調試)
http://www.tudou.com/programs/view/SbglCp2T3t4/
8. 性能優化培訓 - 執行計劃緩存管理, 綁定變量接口
http://www.tudou.com/programs/view/kwmilXD7JEw/
7. 性能優化培訓 - auto_explain插件, 索引掃描引起的heap page scan被放大的實例講解
http://www.tudou.com/programs/view/LwMWC4ZpOhU/
6. PostgreSQL 性能優化培訓 - 執行計劃成本因子(page scan cost, cpu cost)的校準方法實例講解
http://www.tudou.com/programs/view/yQ0SzBqx_4w/
5. PostgreSQL 性能優化培訓 - 行評估算法講解, 成本計算實例講解
http://www.tudou.com/programs/view/3zgOuh7kbfs/
4. PostgreSQL 性能優化培訓 - explain 實例講解
http://www.tudou.com/programs/view/QztOh_hCFKw
3. PostgreSQL 性能優化培訓 - explain輸出結構信息詳解
http://www.tudou.com/programs/view/OZSUbOFZ0U4
2. PostgreSQL 性能優化培訓 - 統計信息詳解, 成本因子介紹
http://www.tudou.com/programs/view/oA1v5sDFq3Q/