大數據教程(7.1)客戶端向HDFS寫數據流程分析

           上一章爲你們分享了hadoop入門的基礎知識,本章博主將帶領你們一塊兒升入瞭解hadoop的HDFS底層原理以及hadoop內部rpc框架的原理和使用。node

    1、本節目的服務器

           HDFS工做機制的學習主要是爲了加深你們對這個分佈式文件系統的瞭解,以及加強遇到各類問題時的應對能力,而且讓你們再學習完後能有必定的集羣運維能力。框架

    2、概述運維

           1.普通的HDFS集羣主要分爲兩大角色:NameNode(包含Secondary Namenode)、DataNode。分佈式

           2.NameNode:負責管理整個文件系統的元數據,如:文件名,文件位置,文件大小,所在主機地址等等。oop

           3.DataNode:負責管理用戶的文件數據塊(大文件上傳到HDFS集羣后,會被切分紅塊放在不一樣的DataNode上,對外提供統一的視圖、訪問)。學習

           4.文件會按照固定的大小(blocksize,默認爲128m)切成若干塊分佈式存儲在如干臺datanode節點上。大數據

           5.每一個文件塊能夠有多個副本(可配置,默認大小爲3個),並存放在不一樣的datanode上blog

           6.Datanode會按期向Namenode彙報自身所保存的文件block信息,而namenode則會負責保持文件的副本數量hadoop

           7.HDFS的內部工做機制對客戶端保持透明,客戶端請求訪問HDFS都是經過向namenode申請來進行

    3、客戶端向HDFS寫數據流程分析

        最後寄語,以上是博主本次文章的所有內容,若是你們以爲博主的文章還不錯,請點贊;若是您對博主其它服務器大數據技術或者博主本人感興趣,請關注博主博客,而且歡迎隨時跟博主溝通交流。

相關文章
相關標籤/搜索