BWT (Burrows–Wheeler_transform)數據轉換算法

1.什麼是BWT

 　　壓縮技術主要的工做方式就是找到重複的模式，進行緊密的編碼。

　　BWT(Burrows–Wheeler_transform)將原來的文本轉換爲一個類似的文本，轉換後使得相同的字符位置連續或者相鄰，以後可使用其餘技術如：Move-to-front transform 和 遊程編碼 進行文本壓縮。

2.BWT原理

2.1 BWT編碼

 　　(1)首先，BWT先對須要轉換的文本塊，進行循環右移，每次循環一位。能夠知道長度爲n的文本塊，循環n次後重複，這樣就獲得看n個長度爲n的字符串。以下圖中的「Rotate Right」列。（其中‘#’做爲標識符，不在文本塊的字符集中，這樣保證n個循環移位後的字符串均布相同。而且定義'#'小於字符集中的任意字符）。

　　 (2)對循環移位後的n個字符串按照字典序排序。以下圖中的「Sorted (M)」列。

　　 (3)記錄下「Sorted (M)」列中每一個字符串的最後一個字符，組成了「L」列。(其中"F"列是「Sorted (M)」列中每一個字符串的前綴)

　　這樣，原來的字符串「banana#」就轉換爲了「annb#aa」。在某些狀況下，使用L列進行壓縮會有更好的效果。「L」列就是編碼的結果。

2.2 BWT解碼

　　由於進行的是循環移位，且是循環左移注意下面的性質：

    　　一、L的第一個元素是Text中的最後一個元素

    　　二、對於M中的每一行（第一行除外）第一個元素都是最後一個元素的下一個元素。

　　　　  也就是說，對於文本塊而言，同一行中F是L的下一個元素，L是F的前一個元素。

 

　　這樣，就須要

　　(1)經過"F"列中的元素，找到他前面的字符，就是對應的同一行「L」列；

　　(2)經過「L」列中的元素，找到他在「F」列中的對應字符位置。可是「L」中有3個字符a，如何對應F中的3個a呢？由於L是F的前一個元素，多個具備相同前綴的字符串排序，去掉共同前綴後相對次序沒有變化。全部遇到多個相同的字符，相對位置不變；

　　(3)轉到(1)，直到結束。

　　由於F列是已經排序的，能夠從L列得到，全部只須要保存L列就能夠。從L列中的字符獲取在F列中的位置時，須要：

　　(1)前綴和數組，記錄小於當前字符的字符數個數。

　　(2)count計數，計算L中從開始位置到當前字符位置等於該字符的字符數。(保證多個相同字符下"L"到「F」的相對位置不變)。

3.BWT文本塊編碼、解碼實例

 1 #include <iostream>
 2 #include <string>
 3 #include <algorithm>
 4 #include <string.h>
 5 using namespace std;
 6 
 7 ///編碼，生成last數組
 8 int getLastArray(char *lastArray,const string &str){    ///子串排序
 9     int len=str.size();
10     string array[len];
11 
12     for(int i=0;i<len;i++){
13         array[i] = str.substr(i);
14     }
15     sort(array,array+len);
16     for(int i=0;i<len;i++){
17         lastArray[i] = str.at((2*len-array[i].size()-1)%len);
18     }
19     return 0;
20 }
21 
22 int getCountPreSum(int *preSum,const string &str){
23     memset(preSum,0,27*sizeof(int));
24     for(int i=0;i<str.size();i++){
25         if(str.at(i) == '#')
26             preSum[0]++;
27         else
28             preSum[str.at(i)-'a'+1]++;
29     }
30 
31     for(int i=1;i<27;i++)
32         preSum[i] += preSum[i-1];
33     return 0;
34 }
35 
36 ///解碼，使用last數組，恢復原來的文本塊
37 int regainTextFromLastArray(char *lastArray,char *reGainStr,int *preSum){
38     int len=strlen(lastArray);
39     int pos=0;
40     char c;
41     for(int i=len-1;i>=0;){
42         reGainStr[i] = lastArray[pos];
43         c = lastArray[pos];
44         pos = preSum[c-'a']+count(lastArray,lastArray+pos,c);
45         i--;
46     }
47     return 0;
48 }
49 
50 int main (){
51     string str("sdfsfdfdsdfgdfgfgfggfgdgfgd#");
52     int preSum[27];
53     int len=str.size();
54 
55     char *lastArray = new char[len+1];
56     char *reGainStr = new char[len+1];
57     lastArray[len]='\0';
58     reGainStr[len]='\0';
59 
60     getCountPreSum(preSum,str);
61     getLastArray(lastArray,str);
62     regainTextFromLastArray(lastArray,reGainStr,preSum);
63 
64     cout<<"       str: "<<str<<endl;
65     cout<<"lastArray : "<<lastArray<<endl;
66     cout<<"reGainStr : "<<reGainStr<<endl;
67 
68     delete lastArray;
69     delete reGainStr;
70     return 0;
71 }

 代碼執行輸出：

參考：

http://en.wikipedia.org/wiki/Burrows%E2%80%93Wheeler_transform

http://emily2ly.iteye.com/blog/742869

 

額外閱讀：

MTF(Move-to-front transform)數據轉換

基於統計的壓縮算法：遊程編碼