Hadoop權威指南閱讀筆記(三)

hadoop的序列化機制與java的序列化機制不一樣,他將對象序列化到流中,值得一提的是java的序列化機制是不斷的建立對象,但在Hadoop的序列化機制中,用戶能夠服用對象這樣就減小了java對象的分配和回收,提升了應用效率。java

Hadoop序列化的主要優點服務器

       1.緊湊:Hadoop中最稀缺的資源是寬帶,因此緊湊的序列化機制能夠充分的利用寬帶。oop

  2.快速:通訊時大量使用序列化機制,所以,須要減小序列化和反序列化的開銷。代理

  3.可擴展:隨着通訊協議的升級而可升級。對象

  4.互操做:支持不一樣開發語言的通訊。hadoop

Hadoop做爲一種通用的海量數據處理平臺,使用壓縮方式的方面主要考慮到壓縮速度和解壓的可分割性。資源

Hadoop沒有采用java遠程調用的RIM,而是採用動態代理和調用轉發句柄,實現了本身的IPC機制,因爲IPC服務器的高負載,採用了大量排阻塞的java nio系統。
開發

相關文章
相關標籤/搜索