POI如何高效導出百萬級Excel數據？

時間 2019-11-16

標籤 poi 如何高效導出百萬 excel 數據欄目 Apache 简体版

原文原文鏈接

在一個具備統計功能的系統中，導出excel功能幾乎是必定的，如何導出excel？導出的數據有多少？如何高效的導出？c++

Excel簡介
什麼是excel就不用介紹了，這裏主要說明不一樣版本下每一個sheet下的行列限制。網絡

版本區間	行數	列數	生成文件後綴
Excel 2003及如下	65535	256	xls
Excel 2007及以上	1048576	16384	xlsx

由上面可知 Excel 2003及如下是沒法實現單sheet百萬級的數據。多線程

Apache POIapp

簡介

Apache POI 是用Java編寫的免費開源的跨平臺的 Java API，Apache POI提供API給Java程式對Microsoft Office（Excel、WORD、PowerPoint、Visio等）格式檔案讀和寫的功能。POI爲「Poor Obfuscation Implementation」的首字母縮寫，意爲「可憐的模糊實現」。xss

經常使用類

HSSF －提供讀寫Microsoft Excel XLS格式檔案的功能。
XSSF －提供讀寫Microsoft Excel OOXML XLSX格式檔案的功能。
SXSSF －一種基於XSSF的低內存佔用的API（3.8版本開始出現）。
HWPF －提供讀寫Microsoft Word DOC97格式檔案的功能。
XWPF －提供讀寫Microsoft Word DOC2003格式檔案的功能。
HSLF －提供讀寫Microsoft PowerPoint格式檔案的功能。
HDGF －提供讀Microsoft Visio格式檔案的功能。
HPBF －提供讀Microsoft Publisher格式檔案的功能。
HSMF －提供讀Microsoft Outlook格式檔案的功能。ide

咱們這裏是導出Excel，因此使用的是前三個。工具

導出策略性能

方案

使用XSSF和SXSSF分別導入1w,10w,100w數據
使用SXSSF，SXSSF以10w分頁，SXSSF多線程以10w分頁導入100w數據ui

性能對比

時間不包含網絡耗時

圖片描述

類型	1w條/時間	10w條/時間	100w條/時間
XSSF	1331ms	10496ms	當心電腦💥
SXSSF	1568ms	600ms	5824ms

類型	100w條/時間	200w/時間
SXSSF	5824ms	超過最大行數
SXSSF Page	6040ms	12473ms
SXSSF Page Thread	3410ms	6217ms

總結

方案一：
數據在萬條時XSSF和SXSSF相差不大
數據上十萬後SXSSF性能開始突出
數據到達百萬時，XSSF已不適合使用

方案二：
不進行分表時，SXSSF最多可存儲1048576行
百萬級數據分表存儲時，使用多線程導出幾乎是不使用多線程導出的一半時間

最終我得出一個導出百萬級數據的最高效方案：多線程分表導出

實戰

controller層：

@RestController 
@RequestMapping("export")
public class ReportController {
    public static final String[] TITLE = new String[]{"第1列", "第2列", "第3列", "第4列", "第5列"};
    public static final String SHEET_NAME = "page1";
    @RequestMapping(value = "/sxssf/page/thread")
    @ResponseBody
    public void exportSXSSFWorkbookByPageThread(HttpServletResponse response, Integer num) throws Exception {
        //excel文件名
        String fileName = System.currentTimeMillis() + ".xlsx";
        //sheet名
        if (Objects.isNull(num)) {
            num = 65536;
        }
        String[][] content = buildContent(num);
        long start = System.currentTimeMillis();
        SXSSFWorkbook wb = ExcelUtil.getSXSSFWorkbookByPageThread(TITLE, content, null);
        long millis = System.currentTimeMillis() - start;
        long second = millis / 1000;
        System.out.println("SXSSF Page Thread 導出" + num + "條數據，花費：" + second + "s/ " + millis + "ms");
        writeAndClose(response, fileName, wb);
        wb.dispose();
    }
    /**
     * 構建內容
     * @param num
     * @return
     */
    private String[][] buildContent(Integer num) {
        String[][] content = new String[num][4];
        for (int i = 0; i < content.length; i++) {
            content[i][0] = "1";
            content[i][5] = "2";
            content[i][6] = "3";
            content[i][7] = "4";
            content[i][8] = "5";
        }
        return content;
    }
    private void writeAndClose(HttpServletResponse response, String fileName, Workbook wb) {
        try {
            this.setResponseHeader(response, fileName);
            OutputStream os = response.getOutputStream();
            wb.write(os);
            os.flush();
            os.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
    public void setResponseHeader(HttpServletResponse response, String fileName) {
        try {
            try {
                fileName = new String(fileName.getBytes(), "UTF-8");
            } catch (UnsupportedEncodingException e) {
                e.printStackTrace();
            }
            response.setContentType("application/octet-stream;charset=ISO8859-1");
            response.setHeader("Content-Disposition", "attachment;filename=" + fileName);
            response.addHeader("Pargam", "no-cache");
            response.addHeader("Cache-Control", "no-cache");
        } catch (Exception ex) {
            ex.printStackTrace();
        }
    }
}

工具類：

public class ExcelUtil {
  public static final int PER_SHEET_LIMIT = 500000;
  public static SXSSFWorkbook getSXSSFWorkbookByPageThread(String[] title, String[][] values) {
      SXSSFWorkbook wb = new SXSSFWorkbook();
      int pageNum = values.length / PER_SHEET_LIMIT;
      int lastCount = values.length % PER_SHEET_LIMIT;
      if (values.length > PER_SHEET_LIMIT) {
          CellStyle style = wb.createCellStyle();
          int sheet = lastCount == 0 ? pageNum : pageNum + 1;
          CountDownLatch downLatch = new CountDownLatch(sheet);
          Executor executor = Executors.newFixedThreadPool(sheet);
          for (int c = 0; c <= pageNum; c++) {
              int rowNum = PER_SHEET_LIMIT;
              if (c == pageNum) {
                  if (lastCount == 0) {
                      continue;
                  }
                  rowNum = lastCount;
              }
              Sheet sheet = wb.createSheet("page" + c);
              executor.execute(new PageTask(downLatch, sheet, title, style, rowNum, values));
          }
          try {
              downLatch.await();
          } catch (InterruptedException e) {
              e.printStackTrace();
          }
      }
      return wb;
  }
}

分表任務類：

public class PageTask implements Runnable {
    private CountDownLatch countDownLatch;
    private Sheet sheet;
    private String[] title;
    private CellStyle style;
    private int b;
    private String[][] values;
    public PageTask(CountDownLatch countDownLatch, Sheet sheet, String[] title, CellStyle style, int b, String[][] values) {
        this.countDownLatch = countDownLatch;
        this.sheet = sheet;
        this.title = title;
        this.style = style;
        this.b = b;
        this.values = values;
    }
    @Override
    public void run() {
        try {
            Row row = sheet.createRow(0);
            Cell cell = null;
            for (int i = 0; i < title.length; i++) {
                cell = row.createCell(i);
                cell.setCellValue(title[i]);
                cell.setCellStyle(style);
            }
            for (int i = 0; i < b; i++) {
                row = sheet.createRow(i + 1);
                for (int j = 0; j < values[i].length; j++) {
                    row.createCell(j).setCellValue(values[i][j]);
                }
            }
        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            if (countDownLatch != null) {
                countDownLatch.countDown();
            }
        }
    }
}

歡迎關注公衆號交流！