外部排序---置換選擇+敗者樹

  當須要對一個大文件進行排序時,計算機內存可能不夠一次性裝入全部數據,解決辦法是歸併。歸併的大概作法是將大文件分爲若干段,依次讀入內存進行排序,排序後再從新寫入硬盤。這些排好序的片斷成爲順串。而後對這些順串進行逐躺歸併,使歸併段逐漸由小變大,最終使整個文件有序。要使用歸併就得考慮兩個問題,一個是如何生成順串,一個是如何對順串進行歸併。算法

置換選擇算法數組

  先考慮如何生成順串。咱們知道,減小順串的數量能夠下降歸併的次數,而在文件大小固定的狀況下,要減小順串的數量,就要增大單個順串的長度。若是使用內部排序生成順串,那麼順串的大小最多等於可用內存的大小。所以咱們使用置換選擇排序,能夠生成大概兩倍於內存大小的順串。步驟以下:數據結構

  (1)首先從輸入文件中讀取N個數字將數組填滿  spa

  (2)使用數組中現有數據構建一個最小堆blog

 

  (3)重複如下步驟直到堆的大小變爲0:排序

 

    a. 把根結點的數字A(即當前數組中的最小值)輸出內存

 

    b. 從輸入文件中再讀出一個數字B,若R比剛輸出的數字A 大,則將B放到堆的根節點處,若B不比A大,則將堆的最後一個元素移到根結點,將B放到堆的最後一個位置,並把堆的大小縮減1(即新讀入的數據沒有進入堆中)im

 

    c. 在根結點處調用Siftdown從新維護堆數據

 

  (4)換一個輸出文件,從新回到步驟(2)db

書上有個剷雪機的例子來類比證實出使歸併段長度的指望值爲兩倍工做區容量,但我以爲類比說明不了什麼問題,嚴謹的證實我又不會,就跳過吧。

敗者樹

  接下來考慮如何對順串進行歸併。多路歸併排序算法在常見數據結構書中都有涉及。從2路到多路(k路),增大k能夠減小歸併趟數,外存信息讀寫時間,但k個歸併段中選取最小的記錄須要比較k-1次,爲獲得u個記錄的一個有序段共須要(u-1)(k-1)次,若歸併趟數爲s次,那麼對n個記錄的文件進行外排時,內部歸併過程當中進行的總的比較次數爲s(n-1)(k-1),也即

而(k-1)/logk隨k增而增所以內部歸併時間隨k增加而增加了,抵消了外存讀寫減小的時間,這樣作不行,由此引出了「敗者樹」的使用。敗者樹只需進行logk次比較,在內部歸併過程當中利用敗者樹將k個歸併段中選取最小記錄比較的次數降爲(logk)次使總比較次數爲(logm)(n-1),與k無關。

敗者樹的具體操做《數據結構》書裏有,我就不贅述了。這裏說一下敗者樹和堆的比較。

堆執行一次比較(即調整)時間複雜度也是logn,可是堆調整的時候父節點要分別和兩個子節點進行比較,而敗者樹只需和兄弟節點進行一次比較便可。由於要存儲敗者信息,敗者樹佔用空間會比堆大。

相關文章
相關標籤/搜索