fastjson的deserializer的主要優化算法

時間  2019-11-13
標籤 fastjson deserializer 主要 優化 算法 欄目 JSON 简体版
原文   原文鏈接

JSON最佳實踐 | kimmking's blog http://kimmking.github.io/2017/06/06/json-best-practice/java

Fastjson內幕

Java綜合 
JSON協議使用方便，愈來愈流行。JSON的處理器有不少，爲何須要再寫一個呢？由於咱們須要一個性能很好的JSON Parser，但願JSON Parser的性能有二進制協議同樣好，好比和protobuf同樣，這可不容易，但確實作到了。有人認爲這從原理上就是不可能的，可是計算機乃實踐科學，看實際的結果比原理推導更重要。 

這篇文章告訴你們： 
* Fastjson究竟有多快 
* 爲何Fastjson這麼快 
* 你能用Fastjson來作什麼！ 
* 如何得到fastjson？ 

首先，Fastjson究竟有多快？ 
咱們看一下使用https://github.com/eishay/jvm-serializers/提供的程序進行測試獲得的結果： 
  序列化時間 反序列化時間 大小 壓縮後大小
java序列化 8654 43787 889 541
hessian 6725 10460 501 313
protobuf 2964 1745 239 149
thrift 3177 1949 349 197
avro 3520 1948 221 133
json-lib 45788 149741 485 263
jackson 3052 4161 503 271
fastjson 2595 1472 468 251

這是一個468bytes的JSON Bytes測試，從測試結果來看，不管序列化和反序列化，Fastjson超越了protobuf，能夠當之無愧fast! 它比java deserialize快超過30多倍，比json-lib快100倍。因爲Fastjson的存在，你能夠放心使用json統一協議，達到文本協議的可維護性，二進制協議的性能。 

JSON處理主要包括兩個部分，serialize和deserialize。serialize就是把Java對象變成JSON String或者JSON Bytes。Deserialize是把JSON String或者Json Bytes變成java對象。其實這個過程有些JSON庫是分三部分的，json string <－-> json tree <－-> java object。Fastjson也支持這種轉換方式，可是這種轉換方式由於有多餘的步驟，性能很差，不推薦使用。 

爲何Fastjson可以作到這麼快？ 
1、Fastjson中Serialzie的優化實現 
一、自行編寫相似StringBuilder的工具類SerializeWriter。 
把java對象序列化成json文本，是不可能使用字符串直接拼接的，由於這樣性能不好。比字符串拼接更好的辦法是使用java.lang.StringBuilder。StringBuilder雖然速度很好了，但還可以進一步提高性能的，fastjson中提供了一個相似StringBuilder的類com.alibaba.fastjson.serializer.SerializeWriter。 

SerializeWriter提供一些針對性的方法減小數組越界檢查。例如public void writeIntAndChar(int i, char c) {}，這樣的方法一次性把兩個值寫到buf中去，可以減小一次越界檢查。目前SerializeWriter還有一些關鍵的方法可以減小越界檢查的，我還沒實現。也就是說，若是實現了，可以進一步提高serialize的性能。 

二、使用ThreadLocal來緩存buf。 
這個辦法可以減小對象分配和gc，從而提高性能。SerializeWriter中包含了一個char[] buf，每序列化一次，都要作一次分配，使用ThreadLocal優化，可以提高性能。 

三、使用asm避免反射 
獲取java bean的屬性值，須要調用反射，fastjson引入了asm的來避免反射致使的開銷。fastjson內置的asm是基於objectweb asm 3.3.1改造的，只保留必要的部分，fastjson asm部分不到1000行代碼，引入了asm的同時不致使大小變大太多。 

使用一個特殊的IdentityHashMap優化性能。 
fastjson對每種類型使用一種serializer，因而就存在class -> JavaBeanSerizlier的映射。fastjson使用IdentityHashMap而不是HashMap，避免equals操做。咱們知道HashMap的算法的transfer操做，併發時可能致使死循環，可是ConcurrentHashMap比HashMap系列會慢，由於其使用volatile和lock。fastjson本身實現了一個特別的IdentityHashMap，去掉transfer操做的IdentityHashMap，可以在併發時工做，可是不會致使死循環。 

五、缺省啓用sort field輸出 
json的object是一種key/value結構，正常的hashmap是無序的，fastjson缺省是排序輸出的，這是爲deserialize優化作準備。 

六、集成jdk實現的一些優化算法 
在優化fastjson的過程當中，參考了jdk內部實現的算法，好比int to char[]算法等等。 

2、fastjson的deserializer的主要優化算法 
deserializer也稱爲parser或者decoder，fastjson在這方面投入的優化精力最多。 
一、讀取token基於預測。 
全部的parser基本上都須要作詞法處理，json也不例外。fastjson詞法處理的時候，使用了基於預測的優化算法。好比key以後，最大的多是冒號":"，value以後，多是有兩個，逗號","或者右括號"}"。在com.alibaba.fastjson.parser.JSONScanner中提供了這樣的方法： 
Java代碼   收藏代碼
  1. public void nextToken(int expect) {  
  2.     for (;;) {  
  3.         switch (expect) {  
  4.             case JSONToken.COMMA: //   
  5.                 if (ch == ',') {  
  6.                     token = JSONToken.COMMA;  
  7.                     ch = buf[++bp];  
  8.                     return;  
  9.                 }  
  10.   
  11.                 if (ch == '}') {  
  12.                     token = JSONToken.RBRACE;  
  13.                     ch = buf[++bp];  
  14.                     return;  
  15.                 }  
  16.   
  17.                 if (ch == ']') {  
  18.                     token = JSONToken.RBRACKET;  
  19.                     ch = buf[++bp];  
  20.                     return;  
  21.                 }  
  22.   
  23.                 if (ch == EOI) {  
  24.                     token = JSONToken.EOF;  
  25.                     return;  
  26.                 }  
  27.                 break;  
  28.         // ... ...  
  29.     }  
  30. }  

從上面摘抄下來的代碼看，基於預測可以作更少的處理就可以讀取到token。 

二、sort field fast match算法 
fastjson的serialize是按照key的順序進行的，因而fastjson作deserializer時候，採用一種優化算法，就是假設key/value的內容是有序的，讀取的時候只須要作key的匹配，而不須要把key從輸入中讀取出來。經過這個優化，使得fastjson在處理json文本的時候，少讀取超過50%的token，這個是一個十分關鍵的優化算法。基於這個算法，使用asm實現，性能提高十分明顯，超過300％的性能提高。 
Java代碼   收藏代碼
  1. { "id" : 123, "name" : "魏加流", "salary" : 56789.79}  
  2.   ------      --------          ----------    

在上面例子看，虛線標註的三個部分是key，若是key_id、key_name、key_salary這三個key是順序的，就能夠作優化處理，這三個key不須要被讀取出來，只須要比較就能夠了。 

這種算法分兩種模式，一種是快速模式，一種是常規模式。快速模式是假定key是順序的，能快速處理，若是發現不可以快速處理，則退回常規模式。保證性能的同時，不會影響功能。 

在這個例子中，常規模式須要處理13個token，快速模式只須要處理6個token。 

實現sort field fast match算法的代碼在這個類[com.alibaba.fastjson.parser.deserializer.ASMDeserializerFactory|http://code.alibabatech.com/svn/fastjson/trunk/fastjson/src/main/java/com/alibaba/fastjson/parser/deserializer/ASMDeserializerFactory.java]，是使用asm針對每種類型的VO動態建立一個類實現的。 
這裏是有一個用於演示sort field fast match算法的代碼： 
http://code.alibabatech.com/svn/fastjson/trunk/fastjson/src/test/java/data/media/ImageDeserializer.java 
Java代碼   收藏代碼
  1. // 用於快速匹配的每一個字段的前綴  
  2. char[] size_   = "\"size\":".toCharArray();  
  3. char[] uri_    = "\"uri\":".toCharArray();  
  4. char[] titile_ = "\"title\":".toCharArray();  
  5. char[] width_  = "\"width\":".toCharArray();  
  6. char[] height_ = "\"height\":".toCharArray();  
  7.   
  8. // 保存parse開始時的lexer狀態信息  
  9. int mark = lexer.getBufferPosition();  
  10. char mark_ch = lexer.getCurrent();  
  11. int mark_token = lexer.token();  
  12.   
  13. int height = lexer.scanFieldInt(height_);  
  14. if (lexer.matchStat == JSONScanner.NOT_MATCH) {  
  15.     // 退出快速模式, 進入常規模式  
  16.     lexer.reset(mark, mark_ch, mark_token);  
  17.     return (T) super.deserialze(parser, clazz);  
  18. }  
  19.   
  20. String value = lexer.scanFieldString(size_);  
  21. if (lexer.matchStat == JSONScanner.NOT_MATCH) {  
  22.     // 退出快速模式, 進入常規模式  
  23.     lexer.reset(mark, mark_ch, mark_token);  
  24.     return (T) super.deserialze(parser, clazz);  
  25. }  
  26. Size size = Size.valueOf(value);  
  27.   
  28. // ... ...  
  29.   
  30. // batch set  
  31. Image image = new Image();  
  32. image.setSize(size);  
  33. image.setUri(uri);  
  34. image.setTitle(title);  
  35. image.setWidth(width);  
  36. image.setHeight(height);  
  37.   
  38. return (T) image;  


三、使用asm避免反射 
deserialize的時候，會使用asm來構造對象，而且作batch set，也就是說合並連續調用多個setter方法，而不是分散調用，這個可以提高性能。 

四、對utf-8的json bytes，針對性使用優化的版原本轉換編碼。 
這個類是com.alibaba.fastjson.util.UTF8Decoder，來源於JDK中的UTF8Decoder，可是它使用ThreadLocal Cache Buffer，避免轉換時分配char[]的開銷。 
ThreadLocal Cache的實現是這個類com.alibaba.fastjson.util.ThreadLocalCache。第一次1k，若是不夠，會增加，最多增加到128k。 
Java代碼   收藏代碼
  1. //代碼摘抄自com.alibaba.fastjson.JSON  
  2. public static final <T> T parseObject(byte[] input, int off, int len, CharsetDecoder charsetDecoder, Type clazz,  
  3.                                       Feature... features) {  
  4.     charsetDecoder.reset();  
  5.   
  6.     int scaleLength = (int) (len * (double) charsetDecoder.maxCharsPerByte());  
  7.     char[] chars = ThreadLocalCache.getChars(scaleLength); // 使用ThreadLocalCache，避免頻繁分配內存  
  8.   
  9.     ByteBuffer byteBuf = ByteBuffer.wrap(input, off, len);  
  10.     CharBuffer charByte = CharBuffer.wrap(chars);  
  11.     IOUtils.decode(charsetDecoder, byteBuf, charByte);  
  12.   
  13.     int position = charByte.position();  
  14.   
  15.     return (T) parseObject(chars, position, clazz, features);  
  16. }  


六、symbolTable算法。 
咱們看xml或者javac的parser實現，常常會看到有一個這樣的東西symbol table，它就是把一些常用的關鍵字緩存起來，在遍歷char[]的時候，同時把hash計算好，經過這個hash值在hashtable中來獲取緩存好的symbol，避免建立新的字符串對象。這種優化在fastjson裏面用在key的讀取，以及enum value的讀取。這是也是parse性能優化的關鍵算法之一。 

如下是摘抄自JSONScanner類中的代碼，這段代碼用於讀取類型爲enum的value。 
Java代碼   收藏代碼
  1. int hash = 0;  
  2. for (;;) {  
  3.     ch = buf[index++];  
  4.     if (ch == '\"') {  
  5.         bp = index;  
  6.         this.ch = ch = buf[bp];  
  7.         strVal = symbolTable.addSymbol(buf, start, index - start - 1, hash); // 經過symbolTable來得到緩存好的symbol，包括fieldName、enumValue  
  8.         break;  
  9.     }  
  10.       
  11.     hash = 31 * hash + ch; // 在token scan的過程當中計算好hash  
  12.   
  13.     // ... ...  
  14. }  


咱們能用fastjson來做什麼？ 
一、替換其餘全部的json庫，java世界裏沒有其餘的json庫可以和fastjson可相比了。 
二、使用fastjson的序列化和反序列化替換java serialize，java serialize不單性能慢，並且體制大。 
三、使用fastjson替換hessian，json協議和hessian協議大小差很少同樣，並且fastjson性能優越，10倍於hessian 
四、把fastjson用於memached緩存對象數據。 


如何得到fastjson 
h3. 官方網站 
Fastjson是開源的，基於Apache 2.0協議。你能夠在官方網站了解最新信息。 
http://code.alibabatech.com/wiki/display/FastJSON/Home 

maven用戶  * Maven倉庫 http://code.alibabatech.com/mvn/releases/  {code}  <dependency>       <groupId>com.alibaba</groupId>       <artifactId>fastjson</artifactId>       <version>1.1.2</version>  </dependency>  {code} 
相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程