【Paddy】如何將物理表分割成動態數據表與靜態數據表

時間 2019-12-08

標籤 Paddy 如何物理分割動態數據表靜態欄目網站開發简体版

原文原文鏈接

前言　　html

　　通常來講，物理表的增、刪、改、查都受到數據量的制約，進而影響了性能。sql

　　不少狀況下，你所負責的業務關鍵表中，每日變更的數據庫與不變更的數據量比較，相差很是大。數據庫

　　這裏咱們將變更的數據稱爲動態數據，不變更的數據稱爲靜態數據。架構

　　舉個例子，1張1000W的表，每日動態數據只有1W條，999W條的數據都爲靜態。每每select或者重複改變的數據都在動態數據中。好比訂單表。ide

　　因此，若是將動態數據庫從表中剝離出來，分割兩張表，一張動態數據表，一張靜態數據表，從數據量的角度來看，性能是否是就會天然提升了？性能

　　下圖爲一張現實表和一張理想化的結構（藍色爲靜態數據：1000W、黃色爲動態數據：100W）：測試

　　但願動態數據和靜態數據分割開spa

　　想法再好，也比不上現實的殘酷。不少朋友可能都想到這種架構，但實現起來問題很是多：3d

　　1.　　如何將動態數據自動從靜態數據中剝離？如何維護？htm

　　2.　　程序代碼改動量不可預計。尤爲核心表的使用遍及各地，分割成兩張表後，全部代碼基本都要重構。

　　3.　　表分區是否能夠達到一樣目的，NO~由於表分區沒法100%區分動態與靜態，並且分區列的使用決定了效率。

　　下面開始，進入本次主題，如何在SQL Server中達到動態數據、靜態數據分割；兩表數據如何自動維護；程序統一訪問邏輯表名，零維護成本。

正文

　實現方法：利用視圖 + 視圖觸發器

　　沒錯，沒有了~就是靠這兩貨，就解決了，下面咱們來看看邏輯圖（畫的很差，見諒）。

最後，讓咱們來看看具體事例

1.　　建立demo數據庫，和動態表(TB_A_NEW)、歷史表(TB_A_OLD)

CREATE DATABASE demo
GO
ALTER DATABASE demo ADD FILEGROUP HekatonFG CONTAINS MEMORY_OPTIMIZED_DATA;
GO
ALTER DATABASE demo ADD FILE( NAME = 'Memory', FILENAME ='C:\Memory.ndf') TO FILEGROUP [HekatonFG];
GO
CREATE TABLE TB_A_OLD
(
	id INT IDENTITY(1,1) PRIMARY KEY,
　　　　 NAME NVARCHAR(36)
GO
CREATE TABLE TB_A_NEW
  (
     id   INT IDENTITY(1, 1) PRIMARY KEY,
     NAME NVARCHAR(36)
  )
GO
INSERT INTO TB_A_OLD
SELECT Newid()
GO 10

這個時候的兩張表的數據以下：

而後，咱們爲了保證動態表的新增數據的自增值是靜態表的當前標識值+1，這樣兩表記錄合併才能銜接。

DECLARE @IDENT BIGINT

SELECT @IDENT = Ident_current('TB_A_OLD') + 1

DBCC checkident('TB_A_NEW', reseed, @IDENT)

建立視圖（View_TB_A）

CREATE VIEW [dbo].[View_TB_A]
AS
  SELECT *
  FROM   TB_A_NEW
  UNION ALL
  SELECT old.*
  FROM   TB_A_OLD old
         LEFT JOIN TB_A_NEW new
                ON old.id = new.id
  WHERE  new.NAME IS NULL

GO

建立視圖觸發器（Insert、Update）

USE demo

GO

CREATE TRIGGER [dbo].[TR_Insert]
ON [dbo].[View_TB_A]
INSTEAD OF INSERT
AS
  BEGIN
      SET NOCOUNT ON

      INSERT INTO TB_A_NEW
                  (NAME)
      SELECT NAME
      FROM   inserted
  END

GO

USE demo

GO

CREATE TRIGGER [dbo].[TR_Update]
ON [dbo].[View_TB_A]
INSTEAD OF UPDATE
AS
  BEGIN
      SET NOCOUNT ON

      --1. 判斷update中，包含的記錄是否都在new表中
      DECLARE @count BIGINT

      SELECT @count = Count(1)
      FROM   deleted

      UPDATE TB_A_NEW
      SET    NAME = b.NAME
      FROM   TB_A_NEW a,
             inserted b
      WHERE  a.id = b.id

      IF @@ROWCOUNT < @count
        BEGIN
            SET IDENTITY_INSERT TB_A_NEW ON

            INSERT INTO TB_A_NEW
                        (id,
                         NAME)
            SELECT i.id,
                   i.NAME
            FROM   inserted i
                   LEFT JOIN TB_A_NEW n
                          ON i.id = n.id
            WHERE  n.NAME IS NULL
        END
  END

GO

下面，咱們來測試下SELECT、UPDATE、INSERT

Select

SELECT的結果就是剛纔的插入10條記錄，經過！

Insert

INSERT到視圖中，會在TB_A_NEW表中新增一條記錄,TB_A_OLD並無任何變化。也就是自動分配到了動態表中，經過！

Update

而後咱們繼續更新id=2的記錄，看看結果如何

最後，咱們繼續查詢視圖VIEW_TB_A，看看最終返回的結果。

看到最終結果11條，而且以前經過視圖的更新，插入都返回了正確結果，經過！

至此，測試結束，經過視圖和視圖觸發器，實現了統一名稱訪問，底冊物理表分割動態表和靜態表，測試過程並不包含delete，感興趣的童鞋稍微琢磨下就出來了。

若是須要合併動態表與靜態表，只需將id相同記錄，更新到靜態表，靜態表不存在的id對應動態數據，插入到靜態表中便可。

本次內容主意在實現方法，具體性能提高測試，往後再作說明，簡單說下，就是觸發器的邏輯處理，放在了物理表插入數據以前。將數據分類存儲。因此邏輯處理開銷會增長，可是物理存儲分割。在數據量影響性能明顯的場景中會很是適用。