使用內存映射文件MMF實現大數據量導出時的內存優化

時間 2020-01-15

標籤使用內存映射文件 mmf 實現數據導出優化简体版

原文原文鏈接

前言

導出功能幾乎是全部應用系統必不可少功能，今天咱們來談一談，如何使用內存映射文件MMF進行內存優化，本文重點介紹使用方法，相關原理能夠參考文末的鏈接html

實現

咱們以單次導出一個excel舉例(csv同理)，excel包含1~n個sheet，在每一個sheet中存儲的按行和列的座標在單元格存儲具體數據，若是咱們要使用MMF，第一個要考慮的就是如何將整個excel合理的存儲到MMF中。這裏咱們引入MMF兩個對象：數據庫

MemoryMappedFile --表示內存映射文件api

MemoryMappedViewAccessor --表示隨機訪問的內存映射文件視圖數組

使用MemoryMappedFile.CreateNew(string mapName, long capacity)能夠獲得一個指定名稱和指定大小的內存映射文件，如下簡稱mmf
  * 這裏須要注意的是capacity爲long類型，以字節爲單位，經過計算可知文件大小上限爲1G
使用mmf.CreateViewAccessor(long offset, long size)能夠獲得一個從指定位置開始的指定大小空間的訪問器，如下簡稱accessor
  * 這裏一樣須要注意的是size的大小，若是加上offset超過文件大小，會報System.UnauthorizedAccessException: Access to the path is denied.
考慮到數據體積和管理成本，這裏使用mmf對應sheet，使用accessor對應一行數據
  * 這裏有個須要注意的是mmf不能存儲引用類型，包括字符串...，折衷先將string轉爲char[]而後使用WriteArray方法存儲，考慮到取數據的時候一樣須要使用char[]數組，而數組必須指定長度，咱們將數組長度和具體數據都存起來，這樣取數據時候的索引也能夠計算出來了app

數據存儲示例：測試

這面是具體的實現代碼：優化

        //添加外部引用防止被自動GC
        public List<MemoryMappedFile> mmfs = new List<MemoryMappedFile>();

        /// <summary>
        /// 寫入
        /// </summary>
        public void WriteMMF()
        {
            for(var f = 1; f <= 3; f ++)
            {
                //每個File至關於一個excel的一個sheet（一個患者一行）
                var mmf = MemoryMappedFile.CreateNew($"mmftest{f}", 1024 * 1024 * 1024); //文件大小最大爲1G

                for (var row = 0; row < 10; row++)
                {
                    //每個ViewAccessor至關於excel的一行
                    var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //經過具體數據量計算空間，offset位移爲每一個size的長度，size爲1M
                    var index = 0;
                    for (var i = 0; i < 16384; i++)
                    {
                        //至關於一行的每個cell
                        var buffer = ASCIIEncoding.UTF8.GetBytes($"測試第{row}行第{i}個單元格~!");
                        var length = buffer.Length;
                        accessor.Write(index, length);
                        accessor.WriteArray(index + 4, buffer, 0, length);
                        index += (length + 4);
                    }
                }
                mmfs.Add(mmf);
            }
        }

        /// <summary>
        /// 讀取
        /// </summary>
        public void ReadMMF()
        {
            for (var f = 1; f <= 3; f++)
            {
                using var mmf = MemoryMappedFile.OpenExisting($"mmftest{f}");
                for (var row = 0; row < 10; row++)
                {
                    using var accessor = mmf.CreateViewAccessor(row * 1024 * 1024, 1024 * 1024); //經過寫數據同時作的記錄控制大小
                    var index = 0;
                    for (var i = 0; i < 16384; i++)
                    {
                        var size = accessor.ReadInt32(index);
                        var buffer = new byte[size];
                        accessor.ReadArray(index + 4, buffer, 0, size);
                        var result = ASCIIEncoding.UTF8.GetString(buffer);
                        Console.WriteLine(result);
                        index += (size + 4);
                    }
                }
            }

            mmfs = null;
        }