使用Java處理大文件

http://www.importnew.com/10712.html

本文由 ImportNew - 踏雁尋花 翻譯自 javacodegeeks。歡迎加入翻譯小組。轉載請見文末要求。

我最近要處理一套存儲歷史實時數據的大文件fx market data，我很快便意識到，使用傳統的InputStream不可以將它們讀取到內存，由於每個文件都超過了4G。甚至編輯器都不可以打開這些文件。

在這種特殊狀況下，我能夠寫一個簡單的bash腳本將這些文件分紅更小的文件塊，而後再讀取它。可是我不想這樣作，由於二進制格式會使這個方法失效。

處理這個問題的方式一般就是使用內存映射文件遞增地處理區域的數據。關於內存映射文件的一個好處就是它們不會使用虛擬內存和換頁空間，由於它們是從磁盤上的文件返回來的數據。

很好，讓咱們來看一看這些文件和額外的一些數據。彷佛它們使用逗號分隔的字段包含ASCII文本行。

格式：[currency-pair],[timestamp],[bid-price],[ask-price]

例子：EUR/USD,20120102 00:01:30.420,1.29451,1.2949

我能夠爲這種格式去寫一個程序，可是，讀取文件和解析文件是無關的概念。讓咱們退一步來想一個通用的設計，當在未來面臨類似的問題時這個設計能夠被重複利用。

這個問題能夠歸結爲遞增地解碼一個已經在無限長的數組中被編碼的記錄，而且沒有耗盡內存。實際上，以逗號分割的示例格式編碼與一般的解決方案是不相關的。因此，很明顯須要一個解碼器來處理不一樣的格式。

再來看，知道整個文件處理完成，每一條記錄都不能被解析並保存在內存中，因此咱們須要一種方式來轉移記錄，在它們成爲垃圾被回收以前能夠被寫到其餘地方，例如磁盤或者網絡。

迭代器是處理這個需求的很好的抽象，由於它們就像遊標同樣，能夠正確的指向某個位置。每一次迭代均可以轉發文件指針，而且可讓咱們使用數據作其餘的事情。

首先來寫一個Decoder 接口，遞增地把對象從MappedByteBuffer中解碼，若是buffer中沒有對象，則返回null。

    
public interface Decoder<T> {
    public T decode(ByteBuffer buffer);
}

而後讓FileReader 實現Iterable接口。每個迭代器將會處理下一個4096字節的數據，並使用Decoder把它們解碼成一個對象的List集合。注意，FileReader 接收文件(files)的list對象，這樣是很好的，由於它能夠遍歷數據，而且不須要考慮聚合的問題。順便說一下，4096個字節塊對於大文件來講是很是小的。

    
public class FileReader implements Iterable<List<T>> {
  private static final long CHUNK_SIZE = 4096;
  private final Decoder<T> decoder;
  private Iterator<File> files;
 
  private FileReader(Decoder<T> decoder, File... files) {
    this(decoder, Arrays.asList(files));
  }
  private FileReader(Decoder<T> decoder, List<File> files) {
    this.files = files.iterator();
    this.decoder = decoder;
  }
  public static <T> FileReader<T> create(Decoder<T> decoder, List<File> files) {
    return new FileReader<T>(decoder, files);
  }
 
  public static <T> FileReader<T> create(Decoder<T> decoder, File... files) {
    return new FileReader<T>(decoder, files);
  }
  @Override
  public Iterator<List<T>> iterator() {
    return new Iterator<List<T>>() {
      private List<T> entries;
      private long chunkPos = 0;
      private MappedByteBuffer buffer;
      private FileChannel channel;
      @Override
      public boolean hasNext() {
        if (buffer == null || !buffer.hasRemaining()) {
          buffer = nextBuffer(chunkPos);
          if (buffer == null) {
            return false;
          }
        }
        T result = null;
        while ((result = decoder.decode(buffer)) != null) {
          if (entries == null) {
            entries = new ArrayList<T>();
          }
          entries.add(result);
        }
        // set next MappedByteBuffer chunk
        chunkPos += buffer.position();
        buffer = null;
        if (entries != null) {
          return true;
        } else {
          Closeables.closeQuietly(channel);
          return false;
        }
      }
 
      private MappedByteBuffer nextBuffer(long position) {
        try {
          if (channel == null || channel.size() == position) {
            if (channel != null) {
              Closeables.closeQuietly(channel);
              channel = null;
            }
            if (files.hasNext()) {
              File file = files.next();
              channel = new RandomAccessFile(file, "r").getChannel();
              chunkPos = 0;
              position = 0;
            } else {
              return null;
            }
          }
          long chunkSize = CHUNK_SIZE;
          if (channel.size() - position < chunkSize) {
            chunkSize = channel.size() - position;
          }
           return channel.map(FileChannel.MapMode.READ_ONLY, chunkPos, chunkSize);
        } catch (IOException e) {
           Closeables.closeQuietly(channel);
           throw new RuntimeException(e);
        }
      }
 
      @Override
      public List<T> next() {
        List<T> res = entries;
        entries = null;
        return res;
      }
 
      @Override
      public void remove() {
        throw new UnsupportedOperationException();
      }
    };
  }
}

下一個任務就是寫一個Decoder 。針對逗號分隔的任何文本格式，編寫一個TextRowDecoder 類。接收的參數是每行字段的數量和一個字段分隔符，返回byte的二維數組。TextRowDecoder 能夠被操做不一樣字符集的特定格式解碼器重複利用。

    
public class TextRowDecoder implements Decoder<byte[][]> {
  private static final byte LF = 10;
  private final int numFields;
  private final byte delimiter;
  public TextRowDecoder(int numFields, byte delimiter) {
   this.numFields = numFields;
   this.delimiter = delimiter;
  }
  @Override
  public byte[][] decode(ByteBuffer buffer) {
    int lineStartPos = buffer.position();
    int limit = buffer.limit();
    while (buffer.hasRemaining()) {
      byte b = buffer.get();
      if (b == LF) { // reached line feed so parse line
        int lineEndPos = buffer.position();
        // set positions for one row duplication
        if (buffer.limit() < lineEndPos + 1) {
          buffer.position(lineStartPos).limit(lineEndPos);
        } else {
          buffer.position(lineStartPos).limit(lineEndPos + 1);
        }
        byte[][] entry = parseRow(buffer.duplicate());
        if (entry != null) {
          // reset main buffer
          buffer.position(lineEndPos);
          buffer.limit(limit);
          // set start after LF
          lineStartPos = lineEndPos;
        }
        return entry;
      }
    }
    buffer.position(lineStartPos);
    return null;
  }
  
  public byte[][] parseRow(ByteBuffer buffer) {
    int fieldStartPos = buffer.position();
    int fieldEndPos = 0;
    int fieldNumber = 0;
    byte[][] fields = new byte[numFields][];
    while (buffer.hasRemaining()) {
      byte b = buffer.get();
      if (b == delimiter || b == LF) {
        fieldEndPos = buffer.position();
        // save limit
        int limit = buffer.limit();
        // set positions for one row duplication
        buffer.position(fieldStartPos).limit(fieldEndPos);
        fields[fieldNumber] = parseField(buffer.duplicate(), fieldNumber, fieldEndPos - fieldStartPos - 1);
        fieldNumber++;
        // reset main buffer
        buffer.position(fieldEndPos);
        buffer.limit(limit);
        // set start after LF
        fieldStartPos = fieldEndPos;
      }
      if (fieldNumber == numFields) {
        return fields;
      }
    }
    return null;
  }
  
  private byte[] parseField(ByteBuffer buffer, int pos, int length) {
    byte[] field = new byte[length];
    for (int i = 0; i < field.length; i++) {
      field[i] = buffer.get();
    }
    return field;
  }
}

這是文件被處理的過程。每個List包含的元素都從一個單獨的buffer中解碼，每個元素都是被TextRowDecoder定義的byte二維數組。

    
TextRowDecoder decoder = new TextRowDecoder(4, comma);
FileReader<byte[][]> reader = FileReader.create(decoder, file.listFiles());
for (List<byte[][]> chunk : reader) {
  // do something with each chunk
}

咱們能夠在這裏打住，不過還有額外的需求。每一行都包含一個時間戳，每一批都必須分組，使用時間段來代替buffers，如按照天分組、或者按照小時分組。我還想要遍歷每一批的數據，所以，第一反應就是，爲FileReader建立一個Iterable包裝器，實現它的行爲。一個額外的細節，每個元素必須經過實現Timestamped接口（這裏沒有顯示）提供時間戳到PeriodEntries。


    
  public class PeriodEntries<T extends Timestamped> implements Iterable<List<T>> {
  private final Iterator<List<T extends Timestamped>> entriesIt;
  private final long interval;
  private PeriodEntries(Iterable<List<T>> entriesIt, long interval) {
    this.entriesIt = entriesIt.iterator();
    this.interval = interval;
  }
 
  public static <T extends Timestamped> PeriodEntries<T> create(Iterable<List<T>> entriesIt, long interval) {
   return new PeriodEntries<T>(entriesIt, interval);
  }
 
  @Override
  public Iterator<List<T extends Timestamped>> iterator() {
    return new Iterator<List<T>>() {
      private Queue<List<T>> queue = new LinkedList<List<T>>();
      private long previous;
      private Iterator<T> entryIt;
 
      @Override
      public boolean hasNext() {
        if (!advanceEntries()) {
          return false;
        }
        T entry =  entryIt.next();
        long time = normalizeInterval(entry);
        if (previous == 0) {
          previous = time;
        }
        if (queue.peek() == null) {
          List<T> group = new ArrayList<T>();
          queue.add(group);
        }
        while (previous == time) {
          queue.peek().add(entry);
          if (!advanceEntries()) {
            break;
          }
          entry = entryIt.next();
          time = normalizeInterval(entry);
        }
        previous = time;
        List<T> result = queue.peek();
        if (result == null || result.isEmpty()) {
          return false;
        }
        return true;
      }
 
      private boolean advanceEntries() {
        // if there are no rows left
        if (entryIt == null || !entryIt.hasNext()) {
          // try get more rows if possible
          if (entriesIt.hasNext()) {
            entryIt = entriesIt.next().iterator();
            return true;
          } else {
            // no more rows
            return false;
          }
        }
        return true;
      }
 
      private long normalizeInterval(Timestamped entry) {
        long time = entry.getTime();
        int utcOffset = TimeZone.getDefault().getOffset(time);
        long utcTime = time + utcOffset;
        long elapsed = utcTime % interval;
        return time - elapsed;
      }
      @Override
      public List<T> next() {
        return queue.poll();
      }
      @Override
      public void remove() {
        throw new UnsupportedOperationException();
      }
   };
  }
}

最後的處理代碼經過引入這個函數並沒有太大變更，只有一個乾淨的且緊密的循環，沒必要關心文件、緩衝區、時間週期的分組元素。PeriodEntries也是足夠的靈活管理任什麼時候長的時間。


    
TrueFxDecoder decoder = new TrueFxDecoder();
FileReader<TrueFxData> reader = FileReader.create(decoder, file.listFiles());
long periodLength = TimeUnit.DAYS.toMillis(1);
PeriodEntries<TrueFxData> periods = PeriodEntries.create(reader, periodLength);
  
for (List<TrueFxData> entries : periods) {
   // data for each day
   for (TrueFxData entry : entries) {
     // process each entry
   }
}

你也許意識到了，使用集合不可能解決這樣的問題；選擇迭代器是一個關鍵的設計決策，可以解析兆字節的數組，且不會消耗過多的空間。