時序數據庫 Apache-IoTDB 源碼解析之文件數據塊（四）

上一章聊到行式存儲、列式存儲的基本概念，並介紹了 TsFile 是如何存儲數據以及基本概念。詳情請見：

時序數據庫 Apache-IoTDB 源碼解析之文件格式簡介（三）

打一波廣告，歡迎你們訪問IoTDB 倉庫，求一波 Star 。歡迎關注頭條號：列炮緩開局，歡迎關注OSCHINA博客

這一章主要想聊一聊：

1. TsFile的文件概覽
2. TsFile的數據塊

TsFile文件概覽

一個完整的 TsFile 是由圖中的幾大塊組成，圖中的數據塊與索引塊之間使用 1 個字節的分隔符 2 來進行分隔，這個分隔符的意義是當 TsFile 損壞的時候，順序掃描 TsFile 時，依然能夠判斷下一個是 MetaData 是什麼東西。

1. 識別符（Magic）

如今各類軟件五花八門，不少軟件都擁有本身的文件格式用來存儲數據內容，但當硬盤上文件很是多的時候如何有效的識別是否爲本身的文件，確承認以打開呢？常常用 windows 系統的朋友可能會想到用擴展名，但假如文件名丟失了，那咱們如何知道這個文件是否是能被程序正確訪問呢？

這時候一般會使用一個獨有的字符填充在文件開頭和結尾，這樣程序只要訪問 1 個固定長度的字符就知道這個文件是否是本身能正常訪問的文件了，固然，TsFile 做爲一個數據庫文件，確定須要在這個識別符上精心打造一番，它看起來是這樣：

(decimal) 84 115 70 105 108 101 (hex) 54 73 46 69 6c 65 (ASCII) T s F i l e 

很是 cool 。

2.文件版本（Version）

再精妙的設計也不免產生一些問題，那麼就須要升級，那麼文件內容也同樣，有時候當你的改動特別大了，就會出現徹底不兼容的兩個版本，這個很好理解不過多解釋。TsFile 中採用了 6 個字節來保存文件版本信息，當前 0.9.x 版本看起來就是這樣：

(decimal) 48 48 48 48 48 50 (hex) 30 30 30 30 30 32 (ASCII) 0 0 0 0 0 2 

3.數據塊

3.1 ChunkGroup

文件的數據塊中包含了多個 ChunkGroup ，其中 ChunkGroup 的概念已經在上一章聊過，它表明了設備(邏輯概念上的一個集合)一段時間內的數據，在 IoTDB 中稱爲 Device。

在實際的文件中，ChunkGroup是由多個 Chunk 和一個 ChunkGroupFooter 組成。其中最後一個 Chunk 的結尾和 ChunkGroupFooter 之間使用 1 個字節的分隔符 0 來作區分，ChunkGroupFooter 沒有什麼具體做用，不作詳細解釋。

3.2 Chunk

一個 ChunkGroup 中包含了多個 Chunk，它表明了測點數據(邏輯概念上的某一類數據的集合,如體溫數據)，在 IoTDB 中稱爲 Measurement。

在實際文件中 Chunk 是由 ChunkHeader 和多個 Page 組成，並被 1 個字節的分隔符 1 包裹。ChunkHeader中主要保存了當前 Chunk 的數據類型、壓縮方式、編碼方式、包含的 Pages 佔用的字節數等信息。

3.3 Page

一個 Chunk 中包含多個 Page，它是一個數據組織方式，數據大小被限制在 64K 左右。

在實際文件中由 PageHeader 和 PageData 組成。其中 PageHeader 裏主要保存了，當前 page 裏的一些預聚合信息，包含了最大值、最小值、開始時間、結束時間等。他的存在是很是有意義的，由於當某些特定場景的讀時候，沒必要要解開 page 的數據就可以獲得結果，好比說 selece 體溫 from 王五 where time > 1580950800 ， 當讀到 PageHeader 的時候，找到 startTime 和 endTime 就能判斷是否可使用當前 page。 這個聚合信息的結構一樣出如今索引塊中，下一章再具體聊這個聚合結構。

3.4 PageData

一個 Page 中包含了一個 PageData，裏面有兩個數組：時間數組和值數組，且這兩個數組的下標是對齊的，也就是時間數組中的第一個對應值數組中的第一個。舉個例子：

timeArray: [1,2,3,4] valueArray: ['a', 'b', 'c', 'd'] 

在page中就是這樣保存的數據，其中 1 表明了時間 1970-01-01 08:00:00 後的 1 毫秒，對應的值就是 'a'。

數據塊展現

咱們繼續使用上一章聊到的示例數據來展現真正的TsFile中是如何保存的。

時間戳	人名	體溫	心率
1580950800	王五	36.7	100
1580950911	王五	36.6	90

當數據被寫入 TsFile 中，大概就是下面一個展現的狀況，這裏省略了索引部分。

POSITION| CONTENT -------- ------- 0| [magic head] TsFile 6| [version number] 000002 // 由於 6個字節的magic + 6個字節的 version 因此 chunkGroup 從 12 開始 ||||||||||||||||||||| [Chunk Group] of wangwu begins at pos 12, ends at pos 253, version:0, num of Chunks:2 // 這裏展現的是 ChunkHeader 中保存的信息 12| [Chunk] of xinlv, numOfPoints:1, time range:[1580950800,1580950800], tsDataType:INT32, [minValue:100,maxValue:100,firstValue:100,lastValue:100,sumValue:100.0] | [marker] 1 // chunk 的真正開始是從這個分隔符 1 開始的 | [ChunkHeader] // header 的數據在上面展現了 | 1 pages //這裏保存的具體數據 | time:1580950800; value:100 // 下一個 chunk 121| [Chunk] of tiwen, numOfPoints:1, time range:[1580950800,1580950800], tsDataType:FLOAT, [minValue:36.7,maxValue:36.7,firstValue:36.7,lastValue:36.7,sumValue:36.70000076293945] | [marker] 1 | [ChunkHeader] | 1 pages | time:1580950800; value:36.7 230| [Chunk Group Footer] | [marker] 0 // chunkFooter 和 chunk 使用 0 做爲分隔 | [deviceID] wangwu | [dataSize] 218 | [num of chunks] 2 ||||||||||||||||||||| [Chunk Group] of wangwu ends 

回想咱們的查詢語句 select 體溫 from 王五 , 當經歷過索引以後會獲得 offset 的值等於 121 ，這時候咱們只須要調用reader.seek(121)，從這裏開始就是全部體溫數據的開始點，從這裏一直讀到 230 的 ChunkGroupFooter 結構的時候，就能夠返回給用戶數據了。

有興趣本身實驗的朋友能夠，引入 TsFile 的包，自行實驗，下面給出測試代碼：

<dependency> <groupId>org.apache.iotdb</groupId> <artifactId>tsfile</artifactId> <version>0.9.1</version> </dependency> 

public static void main(String[] args) throws IOException, WriteProcessException { MeasurementSchema chunk1 = new MeasurementSchema("tiwen", TSDataType.FLOAT, TSEncoding.PLAIN); MeasurementSchema chunk2 = new MeasurementSchema("xinlv", TSDataType.INT32, TSEncoding.PLAIN); Schema chunks = new Schema(); chunks.registerMeasurement(chunk1); chunks.registerMeasurement(chunk2); TsFileWriter writer = new TsFileWriter(new File("test"), chunks); RowBatch chunkGroup = chunks.createRowBatch("wangwu"); long[] timestamps = chunkGroup.timestamps; Object[] values = chunkGroup.values; timestamps[0] = 1580950800; float[] tiwen = (float[]) values[0]; int[] xinlv = (int[]) values[1]; // 寫入王五的體溫 tiwen[0] = 36.7f; //寫入王五的心率 xinlv[0] = 100; chunkGroup.batchSize++; timestamps[1] = 1580950800; // 寫入第二條王五的體溫 tiwen[1] = 36.6f; //寫入第二條王五的心率 xinlv[1] = 90; chunkGroup.batchSize++; writer.write(chunkGroup); writer.close(); } 

執行完成以後你可使用 IoTDB 中的 TsFileSketchTool 來查看文件結構，獲得文中示例的展現結果；或者使用 od 等工具查看，祝玩兒的開心。IoTDB 0.9.1 版本下載

這一章聊到了 TsFile 分爲了 數據塊 和 索引塊，而且介紹了數據塊的具體組成部分和查詢邏輯。那麼索引塊是什麼結構，怎樣完成了在大量混雜的數據中搜索到的想要的數據，請持續關注。