解決Java開發中使用POI讀寫Excel時面對的兩個麻煩

麻煩1

僅使用簡單的導入導出功能，但每次業務的數據對象結構不一樣，須要從新編寫處理方法，很麻煩！

解決方法

將Excel讀寫邏輯抽取出來，只關注業務邏輯，封裝成工具類。

封裝條件

與大多數Java API同樣，POI把更多的精力放在高級功能的處理上，好比Formula（公式）、Conditional Formatting（條件格式）、Zoom（縮放）等。對於僅僅作數據導入導出功能的API User，不多使用這些高級特性，這容許API用戶對POI的使用進行簡單的封裝。

封裝方式

不管是讀是寫，咱們都須要解決Excel中的Columns（列）與Java數據對象Fields（字段）的映射關係，將這種映射關係做爲參數（Map對象HashMap或LinkedHashMap），傳遞給工具類。

對於Columns不難理解，它能夠是有序的數字或字母，也能夠是其它字符串用來做爲首行，表示該列數據的含義。

對於Fields，它的處理須要兼容複雜狀況，以下：

• 查詢字段時出現異常
• 字段或單元格的值爲null
• 該列的值可能對應關聯對象、甚至是關聯集合中的某個字段值
• 字段或單元格的值須要作特殊處理，例如value == true?完成：失敗；

反射

首先想到，也是大多數封裝者都在使用的方式是就是Reflection API，從上文 函數編程 章節咱們瞭解到，反射重量級，會下降代碼的性能，同時對複雜狀況的處理支持性不夠好。

反射+註解

這種方式能夠更好的支持複雜狀況，可是反射依然會下降性能，同時註解對數據對象會形成代碼侵入，並且對該工具類封裝者的其餘使用者無疑會增長學習成本。

匿名內部類—— 做爲監聽函數

這種方式也能夠很好的支持複雜狀況，可是使用匿名內部類的語法顯然患有「垂直問題」(這意味着代碼須要太多的線條來表達基本概念)，太過冗雜。至於性能，應該也不如直接傳遞函數來的快吧。

函數接口（Lambda）—— 做爲監聽函數

這種方式是基於第5條方法調用的字節碼指令invokeDynamic實現的，直接傳遞函數代碼塊，很好的支持複雜狀況，性能較高，代碼編寫更簡單結構更加簡潔，並且對數據對象代碼零侵入。

---

麻煩2

Excel一次性讀寫數據量比較大，形成內存溢出或頻繁的Full GC，該如何解決？

解決方法

• 讀Excel —— eventmodel
• 寫Excel —— streaming.SXSSFWorkbook

原理

POI的使用對咱們來講很常見，對下面兩個概念應該並不陌生：

• HSSFWorkbook（處理97(-2007) 的.xls）
• XSSFWorkbook（處理2007 OOXML (.xlsx) ）

可是對於 eventmodel 和 streaming.SXSSFWorkbook 就不多接觸了，它們是POI提供的專門用來解決內存佔用問題的 low level API （低級API），使用它們能夠讀寫數據量很是大的Excel，同時能夠避免內存溢出或頻繁的Full GC。【https://poi.apache.org/compon...】

• eventmodel ，用來讀Excel，並無將Excel整個加載到內存中，而是容許用戶從 InputStream 每讀取一些信息，就交給 回調函數 或 監聽器 ，至於丟棄，存儲仍是怎麼處理這些內容，都交由用戶。

• streaming.SXSSFWorkbook ，用來寫Excel（是對XSSFWorkbook的封裝，僅支持.xlsx），經過 滑動窗口 來實現，只在內存中保留滑動窗口容許存在的行數，超出的行Rows被寫出到臨時文件，當調用write(OutputStream stream)方法寫出內容時，再直接從臨時內存寫出到目標 OutputStream 。 SXSSFWorkbook 的使用會產生一些侷限性。

  • Only a limited number of rows are accessible at a point in time.
  • Sheet.clone() is not supported.
  • Formula evaluation is not supported

---

開源解決方案

GridExcel【https://github.com/liuhuagui/...】

Universal solution for reading and writing simply Excel based on functional programming and POI EventModel

GridExcel是基於Java8函數式編程和POI EventModel實現的用於Excel簡單讀寫的通用解決方案。致力於解決上述兩個問題。（注意，GridExcel並無改變POI，僅僅是對它的合理封裝。）

• 基於POI EventModel，在讀寫數據量很是大的Excel時，下降內存佔用避免OOM與頻繁FullGC
• 基於函數編程，支持關聯對象等多種複雜狀況的處理，學習成本低
• 支持流式API，使代碼編寫和理解更簡單，更直觀
• 支持使用阻塞窗口+監聽函數的方式去處理從Excel中讀取的數據

---

概念基礎

Apache POI

在業務開發中咱們常常會遇到Excel的導入導出，而 Apache POI 是Java開發者經常使用的API。
【https://poi.apache.org/components/spreadsheet/index.html】

EventModel

什麼是 EventModel ？在 POI FAQ（常見問題解答）【https://poi.apache.org/help/faq.html#faq-N100C2】官方給出解釋：

The SS eventmodel package is an API for reading Excel files without loading the whole spreadsheet into memory. It does require more knowledge on the part of the user, but reduces memory consumption by more than tenfold. It is based on the AWT event model in combination with SAX. If you need read-only access, this is the best way to do it.

SS eventmodel包是一個用於讀取Excel文件而不將整個電子表格加載到內存中的API。 它確實須要用戶掌握更多知識，可是將內存消耗減小了十倍以上。 它基於AWT（Abstract Window Toolkit）event model與SAX的結合。 若是您須要只讀訪問權限，這是最好的方式。

函數編程

說到函數編程，就不得不提 Lambda表達式 ，若是對Java8中的Lambda不瞭解或理解不深入，能夠看下甲骨文官網給出的這篇文章，【https://www.oracle.com/technetwork/articles/java/architect-lambdas-part1-2080972.html】，我的認爲這是Java8 Lambda從入門到進階最好的文章之一。

其中函數編程的目的就是實現代碼塊傳遞，即，將方法做爲參數在方法間傳遞。爲此，隨着Java語言的發展，不斷出現一些解決方案：

1. Java 1.0， 使用Abstract Window Toolkit (AWT) EventModel來實現，但笨拙且不可行
2. Java 1.1，提出一系列「Listeners」
3. 後來使用內部類和匿名內部類來實現，可是大多數狀況下，它們只是被用做事件處理。
4. 再後來發現更多地方將代碼塊做爲對象(其實是數據)不只有用並且是必要的，可是Java中函數編程仍是很笨拙，它須要成長。
5. 直到Java 1.7，Java引入了java.lang.invoke包，提供一 種新的動態肯定目標方法的機制（能夠不用再單純依靠固化在虛擬機中的字節碼調用指令），稱爲MethodHandle，模擬字節碼的方法指針調用，相似於C/C++的 Function Pointer（函數指針）並引入第5條方法調用的字節碼指令 invokedynamic 。
6. 直到Java 1.8，基於Java 1.7提出的字節碼指令 invokedynamic ，實現了Lamda技術，將函數做爲參數在方法間傳遞，Java開始更好的支持函數式編程。
7. 用反射不是早就能夠實現了嗎？Reflection API 重量級，性能低。

注意： 五、六、7 參考《深刻理解Java虛擬機》第2版，8.3.3 動態類型語言支持。

---

快速使用

<dependency>
    <groupId>com.github.liuhuagui</groupId>
    <artifactId>gridexcel</artifactId>
    <version>2.3</version>
</dependency>

GridExcel.java

GridExcel.java提供了多種靜態方法，能夠直接使用，具體式例可參考測試代碼（提供了測試數據和測試文件）：

• https://github.com/liuhuagui/...
• https://github.com/liuhuagui/...

流式API

/**
  * 業務邏輯處理方式三選一：
  * 1.啓用windowListener，並將業務邏輯放在該函數中。
  * 2.不啓用windowListener，使用get()方法取回所有數據集合，作後續處理。
  * 3.readFunction函數，直接放在函數中處理 或 使用final or effective final的局部變量存放這寫數據，作後續處理。
  * 注意：使用EventModel時readFunction函數的輸入爲每行的cell值集合List<String>。
  * @throws Exception
  */
 @Test
 public void readXlsxByEventModel() throws Exception {
     InputStream resourceAsStream = Thread.currentThread().getContextClassLoader().getResourceAsStream("2007.xlsx");
     GridExcel.readByEventModel(resourceAsStream,TradeOrder.class,ExcelType.XLSX)
             .window(2,ts -> System.out.println(JSON.toJSONString(ts)))//推薦在這裏執行本身的業務邏輯
             .process(cs ->{
                 TradeOrder tradeOrder = new TradeOrder();
                 tradeOrder.setTradeOrderId(Long.valueOf(cs.get(0)));
                 Consultant consultant = new  Consultant();
                 consultant.setConsultantName(cs.get(3));
                 tradeOrder.setConsultant(consultant);
                 tradeOrder.setPaymentRatio(cs.get(16));
                 return tradeOrder;
             },1);
 }
 /**
  * 使用Streaming UserModel寫出數據到Excel
  * @throws Exception
  */
 @Test
 public void writeExcelByStreaming() throws Exception {
     GridExcel.writeByStreaming(TradeOrder.class)
             .head(writeFunctionMap())//對象字段到Excel列的映射
             .createSheet()
             .process(MockData.data())//模擬數據。在這裏設置業務數據集合。
             .write(FileUtils.openOutputStream(new File("/excel/test.xlsx")));
 }

無實體類讀寫Excel

因爲沒有自定義業務實體類，這裏咱們可使用Map.class來代替。下面是讀入Excel的例子，寫Excel能夠參照實現。

/**
     * No Entity無實體類讀Excel文件
     * 業務邏輯處理方式三選一：
     * 1.啓用windowListener，並將業務邏輯放在該函數中。
     * 2.不啓用windowListener，使用get()方法取回所有數據集合，作後續處理。
     * 3.readFunction函數，直接放在函數中處理 或 使用final or effective final的局部變量存放這寫數據，作後續處理。
     * 注意：使用EventModel時readFunction函數的輸入爲每行的cell值集合List<String>。
     * @throws Exception
     */
    @Test
    public void readXlsxByEventModelWithoutEntity() throws Exception {
        InputStream resourceAsStream = Thread.currentThread().getContextClassLoader().getResourceAsStream("2007.xlsx");
        GridExcel.readByEventModel(resourceAsStream,Map.class,ExcelType.XLSX)
                .window(2,ts -> System.out.println(JSON.toJSONString(ts)))//推薦在這裏執行本身的業務邏輯
                .process(cs ->{
                    Map<String, Object> map = new HashMap<String, Object>();
                    map.put("tradeOrderId",cs.get(0));
                    map.put("consultantName",cs.get(3));
                    map.put("paymentRatio",cs.get(16));
                    return map;
                },1);
    }