POI如何高效導出百萬級Excel數據？

閱讀原文：POI如何高效導出百萬級Excel數據？

在一個具備統計功能的系統中，導出excel功能幾乎是必定的，如何導出excel？導出的數據有多少？如何高效的導出？

Excel簡介
什麼是excel就不用介紹了，這裏主要說明不一樣版本下每一個sheet下的行列限制。

由上面可知 Excel 2003及如下是沒法實現單sheet百萬級的數據。

Apache POI

• 簡介

Apache POI 是用Java編寫的免費開源的跨平臺的 Java API，Apache POI提供API給Java程式對Microsoft Office（Excel、WORD、PowerPoint、Visio等）格式檔案讀和寫的功能。POI爲「Poor Obfuscation Implementation」的首字母縮寫，意爲「可憐的模糊實現」。

• 經常使用類

HSSF － 提供讀寫Microsoft Excel XLS格式檔案的功能。
XSSF － 提供讀寫Microsoft Excel OOXML XLSX格式檔案的功能。
SXSSF － 一種基於XSSF的低內存佔用的API（3.8版本開始出現）。
HWPF － 提供讀寫Microsoft Word DOC97格式檔案的功能。
XWPF － 提供讀寫Microsoft Word DOC2003格式檔案的功能。
HSLF － 提供讀寫Microsoft PowerPoint格式檔案的功能。
HDGF － 提供讀Microsoft Visio格式檔案的功能。
HPBF － 提供讀Microsoft Publisher格式檔案的功能。
HSMF － 提供讀Microsoft Outlook格式檔案的功能。

咱們這裏是導出Excel，因此使用的是前三個。

導出策略

• 方案

使用XSSF和SXSSF分別導入1w,10w,100w數據
使用SXSSF，SXSSF以10w分頁，SXSSF多線程以10w分頁導入100w數據

• 性能對比

時間不包含網絡耗時

• 總結

方案一：
數據在萬條時XSSF和SXSSF相差不大
數據上十萬後SXSSF性能開始突出
數據到達百萬時，XSSF已不適合使用

方案二：
不進行分表時，SXSSF最多可存儲1048576行
百萬級數據分表存儲時，使用多線程導出幾乎是不使用多線程導出的一半時間

最終我得出一個導出百萬級數據的最高效方案：多線程分表導出

實戰

• controller層：

@RestController 
@RequestMapping("export")
public class ReportController {

public static final String[] TITLE = new String[]{"第1列", "第2列", "第3列", "第4列", "第5列"};
public static final String SHEET_NAME = "page1";
@RequestMapping(value = "/sxssf/page/thread")
@ResponseBody
public void exportSXSSFWorkbookByPageThread(HttpServletResponse response, Integer num) throws Exception {
    //excel文件名
    String fileName = System.currentTimeMillis() + ".xlsx";
    //sheet名
    if (Objects.isNull(num)) {
        num = 65536;
    }
    String[][] content = buildContent(num);
    long start = System.currentTimeMillis();
    SXSSFWorkbook wb = ExcelUtil.getSXSSFWorkbookByPageThread(TITLE, content, null);
    long millis = System.currentTimeMillis() - start;
    long second = millis / 1000;
    System.out.println("SXSSF Page Thread 導出" + num + "條數據，花費：" + second + "s/ " + millis + "ms");
    writeAndClose(response, fileName, wb);
    wb.dispose();
}
/** * 構建內容 * @param num * @return */
private String[][] buildContent(Integer num) {
    String[][] content = new String[num][4];
    for (int i = 0; i < content.length; i++) {
        content[i][0] = "1";
        content[i][5] = "2";
        content[i][6] = "3";
        content[i][7] = "4";
        content[i][8] = "5";
    }
    return content;
}
private void writeAndClose(HttpServletResponse response, String fileName, Workbook wb) {
    try {
        this.setResponseHeader(response, fileName);
        OutputStream os = response.getOutputStream();
        wb.write(os);
        os.flush();
        os.close();
    } catch (Exception e) {
        e.printStackTrace();
    }
}
public void setResponseHeader(HttpServletResponse response, String fileName) {
    try {
        try {
            fileName = new String(fileName.getBytes(), "UTF-8");
        } catch (UnsupportedEncodingException e) {
            e.printStackTrace();
        }
        response.setContentType("application/octet-stream;charset=ISO8859-1");
        response.setHeader("Content-Disposition", "attachment;filename=" + fileName);
        response.addHeader("Pargam", "no-cache");
        response.addHeader("Cache-Control", "no-cache");
    } catch (Exception ex) {
        ex.printStackTrace();
    }
}
}
複製代碼

• 工具類：

public class ExcelUtil {
public static final int PER_SHEET_LIMIT = 500000;
public static SXSSFWorkbook getSXSSFWorkbookByPageThread(String[] title, String[][] values) {
 
 SXSSFWorkbook wb = new SXSSFWorkbook();
  int pageNum = values.length / PER_SHEET_LIMIT;
  int lastCount = values.length % PER_SHEET_LIMIT;
  if (values.length > PER_SHEET_LIMIT) {
      CellStyle style = wb.createCellStyle();
      int sheet = lastCount == 0 ? pageNum : pageNum + 1;
      CountDownLatch downLatch = new CountDownLatch(sheet);
      Executor executor = Executors.newFixedThreadPool(sheet);
      for (int c = 0; c <= pageNum; c++) {
          int rowNum = PER_SHEET_LIMIT;
          if (c == pageNum) {
              if (lastCount == 0) {
                  continue;
              }
              rowNum = lastCount;
          }
          Sheet sheet = wb.createSheet("page" + c);
          executor.execute(new PageTask(downLatch, sheet, title, style, rowNum, values));
      }
      try {
          downLatch.await();
      } catch (InterruptedException e) {
          e.printStackTrace();
      }
  }
  return wb;
}}
複製代碼

• 分表任務類：

public class PageTask implements Runnable {
private CountDownLatch countDownLatch;
private Sheet sheet;
private String[] title;
private CellStyle style;
private int b;
private String[][] values;
public PageTask(CountDownLatch countDownLatch, Sheet sheet, String[] title, CellStyle style, int b, String[][] values) {
    this.countDownLatch = countDownLatch;
    this.sheet = sheet;
    this.title = title;
    this.style = style;
    this.b = b;
    this.values = values;
}
@Override
public void run() {
    try {
        Row row = sheet.createRow(0);
        Cell cell = null;
        for (int i = 0; i < title.length; i++) {
            cell = row.createCell(i);
            cell.setCellValue(title[i]);
            cell.setCellStyle(style);
        }
        for (int i = 0; i < b; i++) {
            row = sheet.createRow(i + 1);
            for (int j = 0; j < values[i].length; j++) {
                row.createCell(j).setCellValue(values[i][j]);
            }
        }
    } catch (Exception e) {
        e.printStackTrace();
    } finally {
        if (countDownLatch != null) {
            countDownLatch.countDown();
        }
    }
}
}
複製代碼