EF架構~擴展一個分頁處理大數據的方法

回到目錄html

最近總遇到大數據的問題,一次性處理幾千萬數據不實際,因此,咱們須要對大數據進行分塊處理,或者叫分頁處理,我在EF架構裏曾經寫過相似的,那是在進行BulkInsert時,對大數據批量插入時候用到的,如今我把它拿出來,放在IQueryableExtensions類中,即它將做爲IQueryable的一個擴展出現,咱們能夠把這個分頁處理的邏輯應用的更加普遍,而且,在這個整理中,提供了異步並行版本,它比同版版本快了幾十倍之多,能夠說,當前的服務器,只有使用了而且計算以後,才能發揮它的做用!服務器

       /// <summary>
        /// 並行分頁處理數據,提升系統利用率,提高系統性能
        /// </summary>
        /// <typeparam name="TEntity"></typeparam>
        /// <param name="item"></param>
        /// <param name="method"></param>
        public async static Task DataPageProcessAsync<T>(
      IQueryable<T> item,
      Action<IEnumerable<T>> method) where T : class { await Task.Run(() => { DataPageProcess<T>(item, method); }); } /// <summary> /// 在主線程上分頁處理數據 /// </summary> /// <typeparam name="T"></typeparam> /// <param name="item"></param> /// <param name="method"></param> public static void DataPageProcess<T>(
      IQueryable<T> item,
      Action<IEnumerable<T>> method) where T : class { if (item != null && item.Count() > 0) { var DataPageSize = 100; var DataTotalCount = item.Count(); var DataTotalPages = item.Count() / DataPageSize; if (DataTotalCount % DataPageSize > 0) DataTotalPages += 1; for (int pageIndex = 1; pageIndex <= DataTotalPages; pageIndex++) { var currentItems = item.Skip((pageIndex - 1) * DataPageSize).Take(DataPageSize).ToList(); method(currentItems); } } }

事實上,有了上面的方法,之後在進行分面處理數據時,只要有IQueryable的結果集和要處理的方法傳進來就能夠了,方便至極!架構

下面代碼是選自個人FastSocket項目,對大數據進行傳輸時,使用的代碼異步

            #region 分頁數據傳輸
                    DataPageProcessAsync(model, (list) =>
                    {
                        client.Send("DSSInsert"
                        , 1
                        , 1
                        , item.Name//VersionHelper.GetNumber(ProjectID.NewLearningBar)
                        , SerializeMemoryHelper.SerializeToBinary(list)
                        , res => res.Buffer).ContinueWith(c =>
                        {
                            if (c.IsFaulted)
                            {
                                throw c.Exception;
                            }
                            Console.WriteLine(BitConverter.ToBoolean(c.Result, 0));
                        });
                    });
                    #endregion

我本身試了同步方法DataPageProcess和並行異步方法DataPageProcessAsync,後都比較前者至少要快幾十倍,固然這和你的CPU有關,你的CPU處理的線程數超多,這個倍數將會越大!async

回到目錄性能

相關文章
相關標籤/搜索