sql server 內存初探

一. 前言

 　　對於sql server 這個產品來講，內存這塊是最重要的一個資源， 當咱們新建一個會話，相同的sql語句查詢第二次查詢時間每每會比第一次快，特別是在sql統計或大量查詢數據輸出時，會有這麼感受。除了第一次要編譯生成執行計劃,  在CPU,I/O 的影響外，最主要的是第二次查詢是從內存緩存中讀出，爲何是這樣，sql server 內存裏存儲了什麼，它與windows內存又有什麼區別？  參考了一些資料 下面來試着講講。    

二. 內存和硬盤

         爲何內存是寶貴的，在每一個系統上都是有限的，就像你看到的1 tb的硬盤，可是你一般看到的是50-200 G的內存， 物理內存的訪問速度很是快，不能超過必定的限制。在內存有限的狀況下，若是全部的進程都使用了有限的內存，而且新的進程將沒法爲他們找到任何內存，這就出現了虛擬地址空間的概念（也稱爲VAS）。

　　Virtual Address Space(虛擬地址空間)

　　　　是指一個應用程序可以申請訪問的最大地址空間。32位尋址空間最大是4G，   64位尋址空間最大是8TB。

　　　　VAS做爲中間的抽象層的,  不是全部的請求都直接映射到物理內存,它首先映射到VAS而後映射到物理內存。所以，它能夠更協調的方式管理對內存的請求，而不是讓進程去作，若是不是這樣，它很快就會致使內存崩潰。

　　　　在Windows操做系統中，VAS 的內核進程與用戶進程之間的劃分是相同的。對於32位系統，最大的VAS 是4 G的內核/ 2 G到應用程序的中，在這裏，SQL Server是應用程序進程，當我使用word進程時，它意味SQL Server進程差很少同樣，將獲得2 G的VAS。所以，從理論上講，這意味着任何應用程序進程在32位上運行的都將擁有最大限度的2 G。

三 sql server 內存 架構

             sql server 內存管理，在sql server 2012發生了重大改變，對內存從新實現了一遍。  先看下版本之間內存管理圖的區別

              

  　　名詞術語 

　　　3.1 BufferPool　　　　　　

　　　　SQL Server使用BufferPool緩衝池來有效地管理SQL Server進程的內存請求。它是SQL Server的最大內存消耗者。緩衝區是內存中的一個8 KB的頁面，與數據或索引頁面大小相同，您能夠將緩衝區看做是一個框架，它在從磁盤到內存的時候保存數據和索引頁。

　　　　SQL Server緩衝區管理器管理將數據頁讀入緩衝池的任務，並將其寫入磁盤。它是SQL Server的預留內存存儲，若是您不爲它設置值，它將佔用盡量多的內存。所以，在spconfigure中爲max server內存設置最佳值老是被推薦爲一種良好的實踐。緩衝池只將內存分配給須要少於8 KB頁面的請求。

　　　　對於大於8 KB內存的全部請求，都是由windows API直接分配的。全部緩存存儲計劃、數據和索引頁都存儲在這個緩衝池中。當用戶請求row/rows時，若是緩衝區池中沒有，則使該頁面從磁盤進入內存。這種輸入/輸出可能在繁忙的系統上特別昂貴，所以儘量減小SQL服務器緩存的大小，這可能會被用戶看做是內存泄漏或SQL Server佔用大量內存，但實際上它提升了性能，實際上這個特性是經過設計實現的。

　　　　下面這些內存不是來自緩衝池：
　　　　　　SQL LCR
　　　　　　擴展存儲過程
　　　　　　連接服務器分配的內存
　　　　　　內存管理器完成的大頁面分配（大頁面爲任意頁面＞8 KB）
　　　　　　COM對象

         3.2   single-page 

                     這塊內存是<=8kb 的存儲，適用於sql server 2008及之前， 屬於buffer pool 緩衝池來分配。有存儲數據頁面，Consumer功能組件。

         3.3 multi- page

                     這塊內存是>8kb的 存儲，適用於sql server 2008及之前， 不屬於buffer pool 緩衝池來分配,  有存儲Consumer功能組件, 第三方代碼, Threads線程。

    　 3.4  any size page

                      這個適用於sql server 2012及以上，整合了single-page,multi-page 統稱pages。

  四. sql server 2008 內存

                    從內存圖咱們能夠看到有 page reservation  需預先申請的內存， 有momory objects 從windows api申請的內存，  有clr第三方申請的內存。

        內存的分類方式有不少，下面介紹三種方式：

　　1. 按用途分類 

                 1.1 Database Cache(數據頁面緩衝區)

                          當用戶修改了某個頁面上的數據時，sql server會在頁存中將這個頁修改。但不會馬上將這個頁面寫回硬盤，而是等後面的checkpoint 或lazy write集中處理。

                 1.2 各種Consumer功能組件

                            Connection 鏈接：包括輸入緩衝池和輸出緩衝池, 用來存儲用戶指令和返回結果。

                            General ：一組大雜燴: 語句，語句編譯，範式化，鎖數據結構，事務上下文，表格，索引的元數據等。

                            Query paln：語句和存儲過程的執行計劃。

                            Optimizer：sql server在生成執行計劃的過程當中須要消耗的內存。

                            Utilities：像BCP, Log Manager,Parallel Queries,Backup

                 1.3    線程內存

                             爲每一個線程分配0.5MB的內存

                 1.4    第三方代碼申請的內存

　　　　　　　　如用戶定義的CLR,Linked Server分佈式查詢從遠程數據庫取回大量數據。

　　2. 按申請方式分類

 　　　  申請方式是指要先預先Reserve一塊大的內存，而後再一小塊一小塊的commit。對Database Cache是會先Reserve，再commit。

　　　　其餘全部內存使用，基本都是直接commit，都叫Stolen。

　　3. 按申請大小分類（上面的內存圖就是這種分類）

　　　　有二種內存申請單位:  一種是小於或等於8KB的，稱爲Buffer Pool，一次一個頁面的這種分配，被稱爲single page allocation.

 　　　  一種是大於8kb的，稱爲Multi-page（之前叫MemToLeave）,這種分配，被稱爲 Multiple Page Allocation.

　　　　注意這裏的很大一部份內存不受 sql server自己控制.由於第三方代碼申請的內存都放在Multi-page裏.

 　內存分類方法之間的關係

類型	Database cache 數據頁面緩衝區	Consumer 功能組件	3 Party code 第三方代碼	Threads 線程
Reserved/Commit	是	通常不是	通常不是	不是
Stolen	不是	是	是	是
Buffer Pool (single- page)	全部	絕大部分	沒有	沒有
MemToLeave (Multi -page)	沒有	一小部分	全部	全部

　

五.sql server 2012 內存

　　　在 sql server 2012裏，single page  allocator 和multi page allocator 統一塊兒來了，叫作any size page allocator。max server memory 再也不像之前的版本那樣，只控制buffer pool的大小，也包括那些大於8kb 的內存請求。也就是max server memory 可以更準確地控制SQL Server 的內存使用了。

　　以下圖所示：

　　　　

         使用dmv 來查看當前實例的總內存空間，以及佔用內存空間

　　　　--Target Server Memory (KB)最多能申請的內存量
　　　　--Total Server Memory (KB) 目前使用了多少內存量

         從下面的空間佔用也能夠看出來， 給sql server有分配多少內存， 它就會佔用多少內存，以達到性能的最優。

select counter_name, ltrim(cntr_value*1.0/1024.0/1024.0)+'G' 
as memoryGB from master.sys.dm_os_performance_counters  
where counter_name like '%target%server%memory%'or  counter_name like '%total%memory%'

        

 六  總結

　　當您啓動Microsoft SQL Server時，SQL Server內存使用量可能會繼續穩步增加，而不是減小，即便服務器上的活動很低。此外，任務管理器和性能監視器可能顯示，計算機上可用的物理內存會逐漸減小，直到可用內存在4 MB到10 MB之間。這種行爲自己並不表示內存泄漏。這種行爲是典型的，而且是SQL Server緩衝池的預期行爲。

　　默認狀況下，SQL Server根據操做系統報告的物理內存負載動態地增加和縮小緩衝池（緩存）的大小。只要有足夠的內存（4 MB和10 MB）能夠防止分頁，那麼SQL Server緩衝池就會繼續增加。當與SQL Server在同一臺計算機上分配內存時，SQL Server緩衝管理器將根據須要釋放內存。SQL Server能夠每秒釋放數兆字節的內存。這容許SQL Server快速地適應內存分配更改。

 　　您能夠爲SQL Server數據庫引擎使用最小服務器內存和最大服務器內存配置選項使用多少內存（緩衝池）設置上限和下限

　　請注意，經過上圖設置內存最大 max 只限制SQL Server緩衝池的大小。不限制SQL Server爲其餘組件分配的剩餘未保留內存區域，如擴展存儲過程、COM對象、非共享dll、EXEs和MAPI組件。因爲以前的分配，SQL Server私有字節的數量超過了最大服務器內存配置。 

        後面章節在詳細介紹內存的查看分析

 

參考文獻：

　　SQL Server Memory and Troubleshooting

      Microsoft SQL Server企業級平臺管理實踐

      SQL Server 2012 內存管理 (memory management) 改進