基本思想:git
將一個記錄插入到已排序好的有序表中,從而獲得一個新,記錄數增1的有序表。即:先將序列的第1個記錄當作是一個有序的子序列,而後從第2個記錄逐個進行插入,直至整個序列有序爲止。
算法
要點:設立哨兵,做爲臨時存儲和判斷數組邊界之用。shell
直接插入排序示例:
數組
若是遇見一個和插入元素相等的,那麼插入元素把想插入的元素放在相等元素的後面。因此,相等元素的先後順序沒有改變,從原無序序列出去的順序就是排好序後的順序,因此插入排序是穩定的。ide
算法的實現:
函數
效率:性能
時間複雜度:O(n^2).ui
其餘的插入排序有二分插入排序,2-路插入排序。spa
希爾排序是1959 年由D.L.Shell 提出來的,相對直接排序有較大的改進。希爾排序又叫縮小增量排序.net
基本思想:
先將整個待排序的記錄序列分割成爲若干子序列分別進行直接插入排序,待整個序列中的記錄「基本有序」時,再對全體記錄進行依次直接插入排序。
操做方法:
希爾排序的示例:
算法實現:
咱們簡單處理增量序列:增量序列d = {n/2 ,n/4, n/8 .....1} n爲要排序數的個數
即:先將要排序的一組記錄按某個增量d(n/2,n爲要排序數的個數)分紅若干組子序列,每組中記錄的下標相差d.對每組中所有元素進行直接插入排序,而後再用一個較小的增量(d/2)對它進行分組,在每組中再進行直接插入排序。繼續不斷縮小增量直至爲1,最後使用直接插入排序完成排序。
基本思想:
在要排序的一組數中,選出最小(或者最大)的一個數與第1個位置的數交換;而後在剩下的數當中再找最小(或者最大)的與第2個位置的數交換,依次類推,直到第n-1個元素(倒數第二個數)和第n個元素(最後一個數)比較爲止。
簡單選擇排序的示例:
操做方法:
第一趟,從n 個記錄中找出關鍵碼最小的記錄與第一個記錄交換;
第二趟,從第二個記錄開始的n-1 個記錄中再選出關鍵碼最小的記錄與第二個記錄交換;
以此類推.....
第i 趟,則從第i 個記錄開始的n-i+1 個記錄中選出關鍵碼最小的記錄與第i 個記錄交換,
直到整個序列按關鍵碼有序。
算法實現:
簡單選擇排序的改進——二元選擇排序
簡單選擇排序,每趟循環只能肯定一個元素排序後的定位。咱們能夠考慮改進爲每趟循環肯定兩個元素(當前趟最大和最小記錄)的位置,從而減小排序所需的循環次數。改進後對n個數據進行排序,最多隻需進行[n/2]趟循環便可。具體實現以下:
堆排序是一種樹形選擇排序,是對直接選擇排序的有效改進。
基本思想:
堆的定義以下:具備n個元素的序列(k1,k2,...,kn),當且僅當知足
時稱之爲堆。由堆的定義能夠看出,堆頂元素(即第一個元素)必爲最小項(小頂堆)。
若以一維數組存儲一個堆,則堆對應一棵徹底二叉樹,且全部非葉結點的值均不大於(或不小於)其子女的值,根結點(堆頂元素)的值是最小(或最大)的。如:
(a)大頂堆序列:(96, 83,27,38,11,09)
(b) 小頂堆序列:(12,36,24,85,47,30,53,91)
初始時把要排序的n個數的序列看做是一棵順序存儲的二叉樹(一維數組存儲二叉樹), 調整它們的存儲序,使之成爲一個堆,將堆頂元素輸出,獲得n 個元素中最小(或最大)的元素,這時堆的根節點的數最小(或者最大)。而後對前面(n-1)個元素從新調整使之成爲堆,輸出堆頂元素,獲得n 個元素中次小(或次大)的元素。依此類推,直到只有兩個節點的堆,並對它們做交換,最後獲得有n個節點的有序序列。稱這個過程爲堆排序。
所以,實現堆排序需解決兩個問題:
1. 如何將n 個待排序的數建成堆;
2. 輸出堆頂元素後,怎樣調整剩餘n-1 個元素,使其成爲一個新堆。
首先討論第二個問題:輸出堆頂元素後,對剩餘n-1元素從新建成堆的調整過程。
調整小頂堆的方法:
1)設有m 個元素的堆,輸出堆頂元素後,剩下m-1 個元素。將堆底元素送入堆頂((最後一個元素與堆頂進行交換),堆被破壞,其緣由僅是根結點不知足堆的性質。
2)將根結點與左、右子樹中較小元素的進行交換。
3)若與左子樹交換:若是左子樹堆被破壞,即左子樹的根結點不知足堆的性質,則重複方法 (2).
4)若與右子樹交換,若是右子樹堆被破壞,即右子樹的根結點不知足堆的性質。則重複方法 (2).
5)繼續對不知足堆性質的子樹進行上述交換操做,直到葉子結點,堆被建成。
稱這個自根結點到葉子結點的調整過程爲篩選。如圖:
再討論對n 個元素初始建堆的過程。
建堆方法:對初始序列建堆的過程,就是一個反覆進行篩選的過程。
1)n 個結點的徹底二叉樹,則最後一個結點是第個結點的子樹。
2)篩選從第個結點爲根的子樹開始,該子樹成爲堆。
3)以後向前依次對各結點爲根的子樹進行篩選,使之成爲堆,直到根結點。
如圖建堆初始過程:無序序列:(49,38,65,97,76,13,27,49)
算法的實現:
從算法描述來看,堆排序須要兩個過程,一是創建堆,二是堆頂與堆的最後一個元素交換位置。因此堆排序有兩個函數組成。一是建堆的滲透函數,二是反覆調用滲透函數實現排序的函數。
分析:
設樹深度爲k,。從根到葉的篩選,元素比較次數至多2(k-1)次,交換記錄至多k 次。因此,在建好堆後,排序過程當中的篩選次數不超過下式:
而建堆時的比較次數不超過4n 次,所以堆排序最壞狀況下,時間複雜度也爲:O(nlogn )。
基本思想:
在要排序的一組數中,對當前還未排好序的範圍內的所有數,自上而下對相鄰的兩個數依次進行比較和調整,讓較大的數往下沉,較小的往上冒。即:每當兩相鄰的數比較後發現它們的排序與排序要求相反時,就將它們互換。
冒泡排序的示例:
算法的實現:
冒泡排序算法的改進
對冒泡排序常見的改進方法是加入一標誌性變量exchange,用於標誌某一趟排序過程當中是否有數據交換,若是進行某一趟排序時並無進行數據交換,則說明數據已經按要求排列好,可當即結束排序,避免沒必要要的比較過程。本文再提供如下兩種改進算法:
1.設置一標誌性變量pos,用於記錄每趟排序中最後一次進行交換的位置。因爲pos位置以後的記錄均已交換到位,故在進行下一趟排序時只要掃描到pos位置便可。
改進後算法以下:
2.傳統冒泡排序中每一趟排序操做只能找到一個最大值或最小值,咱們考慮利用在每趟排序中進行正向和反向兩遍冒泡的方法一次能夠獲得兩個最終值(最大者和最小者) , 從而使排序趟數幾乎減小了一半。
改進後的算法實現爲:
基本思想:
1)選擇一個基準元素,一般選擇第一個元素或者最後一個元素,
2)經過一趟排序講待排序的記錄分割成獨立的兩部分,其中一部分記錄的元素值均比基準元素值小。另外一部分記錄的 元素值比基準值大。
3)此時基準元素在其排好序後的正確位置
4)而後分別對這兩部分記錄用一樣的方法繼續進行排序,直到整個序列有序。
快速排序的示例:
(a)一趟排序的過程:
(b)排序的全過程
算法的實現:
遞歸實現:
分析:
快速排序是一般被認爲在同數量級(O(nlog2n))的排序方法中平均性能最好的。但若初始序列按關鍵碼有序或基本有序時,快排序反而蛻化爲冒泡 排序。爲改進之,一般以「三者取中法」來選取基準記錄,即將排序區間的兩個端點與中點三個記錄關鍵碼居中的調整爲支點記錄。快速排序是一個不穩定的排序方 法。
快速排序的改進
在本改進算法中,只對長度大於k的子序列遞歸調用快速排序,讓原序列基本有序,而後再對整個基本有序序列用插入排序算法排序。實踐證實,改進後的算法時間複雜度有所下降,且當k取值爲 8 左右時,改進算法的性能最佳。算法思想以下:
基本思想:
歸併(Merge)排序法是將兩個(或兩個以上)有序表合併成一個新的有序表,即把待排序序列分爲若干個子序列,每一個子序列是有序的。而後再把有序子序列合併爲總體有序序列。
歸併排序示例:
合併方法:
若i>m 或j>n,轉⑷ //其中一個子表已合併完,比較選取結束
歸併的迭代算法
1 個元素的表老是有序的。因此對n 個元素的待排序列,每一個元素可當作1 個有序子表。對子表兩兩合併生成n/2個子表,所得子表除最後一個子表長度可能爲1 外,其他子表長度均爲2。再進行兩兩合併,直到生成n 個元素按關鍵碼有序的表。
兩路歸併的遞歸算法
說基數排序以前,咱們先說桶排序:
基本思想:是 將陣列分到有限數量的桶子裏。每一個桶子再個別排序(有可能再使用別的排序算法或是以遞迴方式繼續使用桶排序進行排序)。桶排序是鴿巢排序的一種概括結果。 當要被排序的陣列內的數值是均勻分配的時候,桶排序使用線性時間(Θ(n))。但桶排序並非 比較排序,他不受到 O(n log n) 下限的影響。
簡單來講,就是把數據分組,放在一個個的桶中,而後對每一個桶裏面的在進行排序。
例如要對大小爲[1..1000]範圍內的n個整數A[1..n]排序
首先,能夠把桶設爲大小爲10的範圍,具體而言,設集合B[1]存儲[1..10]的整數,集 合B[2]存儲 (10..20]的整數,……集合B[i]存儲( (i-1)*10, i*10]的整數,i = 1,2,..100。總共有 100個桶。
而後,對A[1..n]從頭至尾掃描一遍,把每一個A[i]放入對應的桶B[j]中。 再對這100個桶中每一個桶裏的數字排序,這時可用冒泡,選擇,乃至快排,通常來講任 何排序法均可以。
最後,依次輸出每一個桶裏面的數字,且每一個桶中的數字從小到大輸出,這 樣就獲得全部數字排好序的一個序列了。
假設有n個數字,有m個桶,若是數字是平均分佈的,則每一個桶裏面平均有n/m個數字。若是
對每一個桶中的數字採用快速排序,那麼整個算法的複雜度是
O(n + m * n/m*log(n/m)) = O(n + nlogn - nlogm)
從上式看出,當m接近n的時候,桶排序複雜度接近O(n)
固然,以上覆雜度的計算是基於輸入的n個數字是平均分佈這個假設的。這個假設是很強的 ,實際應用中效果並無這麼好。若是全部的數字都落在同一個桶中,那就退化成通常的排序了。
前面說的幾大排序算法 ,大部分時間複雜度都是O(n2),也有部分排序算法時間複雜度是O(nlogn)。而桶式排序卻能實現O(n)的時間複雜度。但桶排序的缺點是:
1)首先是空間複雜度比較高,須要的額外開銷大。排序有兩個數組的空間開銷,一個存放待排序數組,一個就是所謂的桶,好比待排序值是從0到m-1,那就須要m個桶,這個桶數組就要至少m個空間。
2)其次待排序的元素都要在必定的範圍內等等。
桶式排序是一種分配排序。分配排序的特定是不須要進行關鍵碼的比較,但前提是要知道待排序列的一些具體狀況。
分配排序的基本思想:實例:
撲克牌中52 張牌,可按花色和麪值分紅兩個字段,其大小關係爲:
花色: 梅花< 方塊< 紅心< 黑心
面值: 2 < 3 < 4 < 5 < 6 < 7 < 8 < 9 < 10 < J < Q < K < A
若對撲克牌按花色、面值進行升序排序,獲得以下序列:
即兩張牌,若花色不一樣,不論面值怎樣,花色低的那張牌小於花色高的,只有在同花色狀況下,大小關係才由面值的大小肯定。這就是多關鍵碼排序。
爲獲得排序結果,咱們討論兩種排序方法。
方法1:先對花色排序,將其分爲4 個組,即梅花組、方塊組、紅心組、黑心組。再對每一個組分別按面值進行排序,最後,將4 個組鏈接起來便可。
方法2:先按13 個面值給出13 個編號組(2 號,3 號,...,A 號),將牌按面值依次放入對應的編號組,分紅13 堆。再按花色給出4 個編號組(梅花、方塊、紅心、黑心),將2號組中牌取出分別放入對應花色組,再將3 號組中牌取出分別放入對應花色組,……,這樣,4 個花色組中均按面值有序,而後,將4 個花色組依次鏈接起來便可。
設n 個元素的待排序列包含d 個關鍵碼{k1,k2,…,kd},則稱序列對關鍵碼{k1,k2,…,kd}有序是指:對於序列中任兩個記錄r[i]和r[j](1≤i≤j≤n)都知足下列有序關係:
其中k1 稱爲最主位關鍵碼,kd 稱爲最次位關鍵碼 。
兩種多關鍵碼排序方法:
多關鍵碼排序按照從最主位關鍵碼到最次位關鍵碼或從最次位到最主位關鍵碼的順序逐次排序,分兩種方法:
最高位優先(Most Significant Digit first)法,簡稱MSD 法:
1)先按k1 排序分組,將序列分紅若干子序列,同一組序列的記錄中,關鍵碼k1 相等。
2)再對各組按k2 排序分紅子組,以後,對後面的關鍵碼繼續這樣的排序分組,直到按最次位關鍵碼kd 對各子組排序後。
3)再將各組鏈接起來,便獲得一個有序序列。撲克牌按花色、面值排序中介紹的方法一便是MSD 法。
最低位優先(Least Significant Digit first)法,簡稱LSD 法:
1) 先從kd 開始排序,再對kd-1進行排序,依次重複,直到按k1排序分組分紅最小的子序列後。
2) 最後將各個子序列鏈接起來,即可獲得一個有序的序列, 撲克牌按花色、面值排序中介紹的方法二便是LSD 法。
基於LSD方法的鏈式基數排序的基本思想
「多關鍵字排序」的思想實現「單關鍵字排序」。對數字型或字符型的單關鍵字,能夠看做由多個數位或多個字符構成的多關鍵字,此時能夠採用「分配 -收集」的方法進行排序,這一過程稱做基數排序法,其中每一個數字或字符可能的取值個數稱爲基數。好比,撲克牌的花色基數爲4,面值基數爲13。在整理撲克 牌時,既能夠先按花色整理,也能夠先按面值整理。按花色整理時,先按紅、黑、方、花的順序分紅4摞(分配),再按此順序再疊放在一塊兒(收集),而後按面值 的順序分紅13摞(分配),再按此順序疊放在一塊兒(收集),如此進行二次分配和收集便可將撲克牌排列有序。
基數排序:
是按照低位先排序,而後收集;再按照高位排序,而後再收集;依次類推,直到最高位。有時候有些屬性是有優先級順序的,先按低優先級排序,再按高優先級排序。最後的次序就是高優先級高的在前,高優先級相同的低優先級高的在前。基數排序基於分別排序,分別收集,因此是穩定的。
算法實現:
各類排序的穩定性,時間複雜度和空間複雜度總結:
咱們比較時間複雜度函數的狀況:
時間複雜度函數O(n)的增加狀況
因此對n較大的排序記錄。通常的選擇都是時間複雜度爲O(nlog2n)的排序方法。
時間複雜度來講:
(1)平方階(O(n2))排序
各種簡單排序:直接插入、直接選擇和冒泡排序;
(2)線性對數階(O(nlog2n))排序
快速排序、堆排序和歸併排序;
(3)O(n1+§))排序,§是介於0和1之間的常數。
希爾排序
(4)線性階(O(n))排序
基數排序,此外還有桶、箱排序。
說明:
當原表有序或基本有序時,直接插入排序和冒泡排序將大大減小比較次數和移動記錄的次數,時間複雜度可降至O(n);
而快速排序則相反,當原表基本有序時,將蛻化爲冒泡排序,時間複雜度提升爲O(n2);
原表是否有序,對簡單選擇排序、堆排序、歸併排序和基數排序的時間複雜度影響不大。
穩定性:
排序算法的穩定性:若待排序的序列中,存在多個具備相同關鍵字的記錄,通過排序, 這些記錄的相對次序保持不變,則稱該算法是穩定的;若經排序後,記錄的相對 次序發生了改變,則稱該算法是不穩定的。
穩定性的好處:排序算法若是是穩定的,那麼從一個鍵上排序,而後再從另外一個鍵上排序,第一個鍵排序的結果能夠爲第二個鍵排序所用。基數排序就是這樣,先按低位排序,逐次按高位排序,低位相同的元素其順序再高位也相同時是不會改變的。另外,若是排序算法穩定,能夠避免多餘的比較;
穩定的排序算法:冒泡排序、插入排序、歸併排序和基數排序
不是穩定的排序算法:選擇排序、快速排序、希爾排序、堆排序
選擇排序算法準則:
每種排序算法都各有優缺點。所以,在實用時需根據不一樣狀況適當選用,甚至能夠將多種方法結合起來使用。
選擇排序算法的依據
影響排序的因素有不少,平均時間複雜度低的算法並不必定就是最優的。相反,有時平均時間複雜度高的算法可能更適合某些特殊狀況。同時,選擇算法時還得考慮它的可讀性,以利於軟件的維護。通常而言,須要考慮的因素有如下四點:
1.待排序的記錄數目n的大小;
2.記錄自己數據量的大小,也就是記錄中除關鍵字外的其餘信息量的大小;
3.關鍵字的結構及其分佈狀況;
4.對排序穩定性的要求。
設待排序元素的個數爲n.
1)當n較大,則應採用時間複雜度爲O(nlog2n)的排序方法:快速排序、堆排序或歸併排序序。
快速排序:是目前基於比較的內部排序中被認爲是最好的方法,當待排序的關鍵字是隨機分佈時,快速排序的平均時間最短;
堆排序 : 若是內存空間容許且要求穩定性的,
歸併排序:它有必定數量的數據移動,因此咱們可能過與插入排序組合,先得到必定長度的序列,而後再合併,在效率上將有所提升。
2) 當n較大,內存空間容許,且要求穩定性 =》歸併排序
3)當n較小,可採用直接插入或直接選擇排序。
直接插入排序:當元素分佈有序,直接插入排序將大大減小比較次數和移動記錄的次數。
直接選擇排序 :元素分佈有序,若是不要求穩定性,選擇直接選擇排序
5)通常不使用或不直接使用傳統的冒泡排序。
6)基數排序
它是一種穩定的排序算法,但有必定的侷限性:
1、關鍵字可分解。
2、記錄的關鍵字位數較少,若是密集更好
3、若是是數字時,最好是無符號的,不然將增長相應的映射覆雜度,可先將其正負分開排序。