學習 google file system 心得體會

       Google File system文件系統，是在特別便宜的普通硬件設備上運行，它是一個面向大規模數據密集型運用的、可伸縮的分佈式文件系統。

       與傳統文件相比，它認爲組件失效是很日常的事件，由於GFS包括幾千臺的廉價設備組裝的存儲機器，被不少的客服機訪問，GFS的組件的質量不同、數量有多，全部的機器在任什麼時候間都有可能出現故障，可是GFS擁有持續監測、錯誤監測、災難冗餘以及能夠自動恢復的機制。傳統文件是覆蓋原有數據方式來修改，而GFS大多文件修改是在文件尾部追加。

       在存儲文件時，GFS存儲文件被分割成必定大小的chunk，建立chunk時，master服務器會給chunk一個獨有的標識，並且每一個塊會複製到多個服務器上，一般狀況上會使用三個存儲複製節點。master節點管理全部文件系統的元數據，但master服務器並非永久保存chunk服務器存有指定chunk的副本信息。它是在啓動時，輪流地詢問chunk服務器，用來獲取信息，已保持自身信息是最新的。經過週期性的心跳來監測chunk服務器的狀態。

       若是chunk出現問題或硬盤壞了，master能夠經過操做日誌的重演把文件系統恢復到最近的狀態。操做日誌包含了關鍵元數據變動歷史記錄。

       若是master服務器失效了，能夠利用以前複製master服務器的全部操做日誌和checkpoint文件，從新啓動一個新的master的進程。

       關於GFS的垃圾回收機制，我以爲很是好，它不是當即刪除，而是將待刪除的文件名改成一個包含刪除時間的隱含名字。只有將隱藏文件從名稱空間刪除，而會永久刪除。

       GFS運用到施工中，也是很是合適的。首先它的成本不高，它能夠存儲大量文件，就算有一臺電腦壞了，數據也不會丟失，並且在施工中，不少文件須要重作，保存文件很容易與以前的弄混淆，尤爲是過好久再找事，分不清那個是最新版本的，而GFS是在文件尾部綴加，一更改，文件就所有變成最新版本的。有時不當心刪了重要文件，頗有可能找不回了，而GFS的垃圾回收，就算刪除了，也可找到。因此我以爲能夠將GFS文件系統運用到工程中。