從WEB SERVICE 上返回大數據量的DATASET

前段時間在作一個項目的時候,遇到了要經過WEB SERVICE從服務器上返回數據量比較大的DATASET,固然，除了顯示在頁面上之外，有可能還要用這些數據在客戶端進行其它操做。查遍了網站的文章,問了一些朋友,也找了一些解決方法.
        衆所周知,若是不用其它方法,直接從WEB SERVICE上傳回一個10W條記錄的DATASET,可想而知的後果是什麼,CPU要佔用100%,且要等上幾分鐘,這是任何一個項目都沒法忍受的.在我上網找資料的過程當中,試驗了幾種不一樣的方法,如經過壓縮SOAP改善XML Web service性能,這篇文章所介紹的方法用了SOAP擴展,是經過在WEB SERVICE端用已通過時了的NZIPLIB庫來壓縮SOAP響應,據稱文本壓縮率可達80%.文章裏面的代碼是VB.NET的,費了好大勁翻譯成C#的,照上面建項目,可是很惋惜,我沒有編譯成功,老是出錯.
這裏我找我建好的項目提供你們下載,你們有時間看看是什麼問題. SOAP壓縮代碼下載
       然後,找到了用序列化的方式來減小網絡傳輸量,Microsoft .NET Framework 1.x 中內建兩種將物件序列化的 Formatter類別，SoapFormatter 和 BinaryFormatter,兩種方式均能減輕網絡傳輸量提升性能,但SoapFormatter方式傳輸的方式其實仍是XML形式，加了不少XML標識，所以壓縮率不是很理想，BinaryFormatter用純二進制的方式序列化DATASET，能使壓縮率大大提升，這是臺灣做者李匡正 (臺灣微軟應用架構技術經理提供的例子裏對SQL範例庫Northwind的測試結果：

	SoapFormatter	BinaryFormatter
Dataset 序列化後 Bytes 數	1,953,078	1,448,399

很顯示然BinaryFormatter　明顯優於SoapFormatter　，而我也確實用了BinaryFormatter　這種方式實現了提升效率.
再者，用微軟提供的DataSetSurrogate 類能夠此基礎上進一步壓縮數據大小，DataSetSurrogate 在.net 2.0裏自帶。這是比較結果.

	SoapFormatter	BinaryFormatter
Dataset 序列化後Bytes數	1,953,078	1,448,399
DataSetSurrogate 序列化後Bytes數	2,371,942	575,684

在這裏，有兩種方式：可把序列化後的數據用文件形式保存在客戶端硬盤；也可用Byte[]方式傳回客戶端，如下是代碼。
web service 端(文件形式)

 

[WebMethod(Description="循環獲取遠程DATASET")]
  public void SurrogateReadTable(string TableName)
  {
   //把DataSet經過Surrogate Class 序列化成 Binary Stream
  
   DataSet ds;
   ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from "+TableName);
   //實例化DataSetSurrogate,傳取出的DATASET到構造函數裏
   sds = new DataSetSurrogate(ds); 
   //實例化二進制流
   BinaryFormatter bf=new BinaryFormatter();
   StreamWriter swDat; 
   //寫到本地一個文件裏
   swDat = new StreamWriter(@"c:\output_surrogate_dataset.dat");
   bf.Serialize(swDat.BaseStream, sds);
   //這裏能夠知道序列化後的文件的大小
   long size = swDat.BaseStream.Length;
   swDat.Close();
  
  }

 

客戶端

private void button1_Click(object sender, System.EventArgs e)
  {
   label1.Text=DateTime.Now.ToString();

   button1.Enabled=false;
   //反序列化Binary Stream能經過Surrogate Class轉換成 DataSet

   //從WEB SERVICE上讀取方法
   svs.SurrogateRead("t_busdocbase");
   BinaryFormatter bf=new BinaryFormatter();
   StreamReader swDat; 
   swDat = new StreamReader(@"c:\output_surrogate_dataset.dat");
   object o=bf.Deserialize(swDat.BaseStream);
  DataSet ds;
   sds = (DataSetSurrogate) o;
   ds = sds.ConvertToDataSet();
   dataGrid1.DataSource=ds.Tables[0];
   swDat.Close();
   }

web service 端(Byte[]方式)

[WebMethod(Description="獲取業務資料遠程DATASET")]
      public byte[] SurrogateRead1()
      {
       DataSet ds;
       ds=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from t_busdocbase");
       sds = new DataSetSurrogate(ds); 
       MemoryStream s= new MemoryStream();
       BinaryFormatter bf = new BinaryFormatter();
       bf.Serialize(s,sds);
     
       byte[] e = s.ToArray();
       return e; 
  
      }

客戶端

private void button3_Click(object sender, System.EventArgs e)
   {
    label1.Text=DateTime.Now.ToString();

    button3.Enabled=false;
    //*反序列化Binary Stream能經過Surrogate Class轉換成 DataSet*/

    //從WEB SERVICE上讀取方法


     byte [] bb=svs.SurrogateRead1();
     MemoryStream br=new MemoryStream(bb);
     BinaryFormatter bf=new BinaryFormatter();
     object o=bf.Deserialize(br);
     sds = (DataSetSurrogate) o;
     ds = sds.ConvertToDataSet(); 
     dataGrid1.DataSource=ds.Tables[0];

     br.Close();

    }

我我的以爲用byte[]方式會安全些，畢竟不用在客戶端產生文件，不用擔憂數據的安全。

固然做爲從網絡上讀取數據來講，10W條是一個不小量，全部的方式包括壓縮，序列化等都是權宜之計，而不是長久之計，在使用當中，我用以上的方法雖然能使網絡傳輸量下降，且可在很短期內就把數據顯示在DATAGRID上，但CPU的開銷卻達到了100%，這是我一直頭疼的。我後來又用了分頁的方式，把10W條數據在服務器端就分批取出，每次500條，這樣讀取時間延長了，但CPU開銷卻未減輕不少，再後來，又用多線程的方式處理，不甚理想。所以最好的方法就是儘量的不查詢10W條數據，經過條件判斷等方式減小所需處理的數據量。

本文從如下文章裏借鑑:
http://www.dotnetjunkies.com/PrintContent.aspx?type=tutorial&id=46630AE2-1C79-4D5F-827E-6C2857FF1D23

http://blog.joycode.com/5drush/archive/2004/05/28/22990.aspx

http://www.chinacs.net/archives/11/2004/08/10/2155.html

http://www.microsoft.com/taiwan/msdn/columns/adonet/AdoNet_20041231.htm

http://www.microsoft.com/china/msdn/library/langtool/vcsharp/miszipcompression.mspx

 

轉：http://www.cnblogs.com/flyskywlh/archive/2005/08/18/217382.html