大文件多路歸併排序

背景: 一堆小文件,每一個文件中有10^6行的數字,要求將這些小文件合併成一個有序的文件。web 實現思路: 先將每一個小文件整理成有序,能夠用多進程來處理。 同時打開排完序的文件(打開的文件數受限於系統容許打開文件數,ulimit -a 查看,ulimit -n 修改可容許打開文件數),維護一個堆,堆中元素爲{文件描述符,當前偏移量,當前行值},以當前行值比較。svg
相關文章
相關標籤/搜索