想了解大數據的鼻祖Hadoop技術棧,這裏有一份優質書單推薦!

如何用形象的比喻描述大數據的技術生態?Hadoop、Hive、Spark 之間是什麼關係?對於大部分人來講都是傻傻分不清楚。程序員

今年來大數據、人工智能得到了IT界大量的關注。若是一個企業不玩大數據,都很差意思說本身是在IT圈混的。我敢打賭,你在中關村西二旗地鐵站溜一圈,保準你會聽到以下名詞:Hadoop、Spark、MapReduce、NoSQL、離線計算、實時計算、實時推送等等一大串名稱。數據庫

程序猿們就是有這麼實在,坐在地鐵上還能那麼投入的討論技術問題。那麼,這些聽起來高大上的技術,究竟都是幹什麼用的呢?他們之間的有什麼區別和聯繫?設計模式

一般,一個技術的興起,都是由現實需求驅動的。瞭解了咱們面臨的問題,就能更好的理解各個大數據技術的使用場景,各種大數據技術的區別也就顯而易見了。安全

今天這一份書單,咱們就將從Hadoop生態圈開始入手,推薦幾本關於Hadoop生態圈的優質書籍!服務器

Hadoop技術棧系列書單網絡

Hadoop權威指南:大數據的存儲與分析(第4版)架構

本書結合理論和實踐,由淺入深,全方位介紹了Hadoop這一高性能的海量數據處理和分析平臺。框架

全書5部分24章,第Ⅰ部分介紹Hadoop基礎知識,主題涉及Hadoop、MapReduce、Hadoop分佈式文件系統、YARN、Hadoop的I/O操做。第Ⅱ部分介紹MapReduce,主題包括MapReduce應用開發;MapReduce的工做機制、MapReduce的類型與格式、MapReduce的特性。第Ⅲ部分介紹Hadoop的運維,主題涉及構建Hadoop集羣、管理Hadoop。第Ⅳ部分介紹Hadoop相關開源項目,主題涉及Avro、Parquet、Flume、Sqoop、Pig、Hive、Crunch、Spark、HBase、ZooKeeper。第Ⅴ部分提供了三個案例,分別來自醫療衛生信息技術服務商塞納(Cerner)、微軟的人工智能項目ADAM(一種大規模分佈式深度學習框架)和開源項目Cascading(一個新的針對MapReduce的數據處理API)。運維

本書是一本專業、全面的Hadoop參考書和工具書,闡述了Hadoop生態圈的新發展和應用,程序員能夠從中探索海量數據集的存儲和分析,管理員能夠從中瞭解Hadoop集羣的安裝和運維。分佈式

做者簡介

TomWhite是傑出的Hadoop專家之一。自2007年2月以來,TomWhite一直是ApacheHadoop的提交者(committer),也是Apache軟件基金會的成員。Tom是Cloudera的軟件工程師,他是Cloudera的首批員工,對Apache和Cloudera作出了舉足輕重的貢獻。

譯者簡介

王海博士,解放軍理工大學通訊工程學院教授,博導,教研中心主任,長期從事無線自組網網絡的設計與研發工做,主持國家天然科學基金、國家863計劃課題等多項課題,近5年獲軍隊科技進步二等獎1項,三等獎6項,做爲di一發明人申請國家發明專利十餘項,發表學術論文50餘篇。

劉喻博士,長期從事軟件開發、軟件測試和軟件工程化管理工做,目前任教於清華大學軟件所。

呂粵海,長期從事軍事通訊網絡技術研究與軟件開發工做,前後經過華爲光網絡高級工程師認證、思科網絡工程師認證。

深度剖析Hadoop HDFS

本書基於Hadoop 2.7.1版本進行分析,全面描述了HDFS 2.X的核心技術與解決方案,書中描述了HDFS內存存儲、異構存儲等幾大核心設計,包括源碼細節層面的分析,對於HDFS中比較特殊的幾個場景過程也作了細粒度的分析。

閱讀本書能夠幫助讀者從架構設計與功能實現角度瞭解HDFS 2.X,同時還能學習HDFS 2.X框架中優秀的設計思想、設計模式、Java語言技巧等。這些對於讀者全面提升本身分佈式技術水平有很大的幫助。

本書分爲三大部分:核心設計篇、細節實現篇、解決方案篇,「核心設計篇」包括HDFS的數據存儲原理、HDFS的數據管理與策略選擇機制、HDFS的新穎功能特性;「細節實現篇」包括HDFS的塊處理、流量處理等細節,以及部分結構分析;「解決方案篇」包括HDFS的數據管理、HDFS的數據讀寫、HDFS的異常場景等。本書適合於雲計算相關領域研發人員、雲計算相關運維工程師、高年級研究生或本科、熱衷於分佈式計算研究的人。

做者簡介

林意羣,惟品會上海研發中心數據應用部研發工程師,Apache Hadoop Committer,主要專一於HDFS模塊的研究。對大數據處理、分佈式計算興趣濃厚,在實際工做中努力鑽研,分享了大量技術文章,貢獻了不少實踐經驗。

HBase不睡覺書

HBase是Apache旗下一個高可靠性、高性能、面向列、可伸縮的分佈式存儲系統。利用HBase技術可在廉價的PC服務器上搭建大規模的存儲化集羣,使用HBase能夠對數十億級別的大數據進行實時性的高性能讀寫,在知足高性能的同時還保證了數據存取的原子性。

本書共分爲9章,由淺入深地講解HBase概念、安裝、配置、部署,讓讀者對HBase先有一個感性認識,再從應用角度介紹了高級用法、監控和性能調優。既兼顧了初學者,也適用於想要深刻學習HBase的讀者。

本書適合於之前沒有接觸過HBase,或者瞭解HBase,並但願可以深刻掌握的讀者,適合HBase應用開發人員和系統管理人員學習使用。

做者簡介

楊曦,就任於硅谷某上市公司,對大數據、雲計算等技術有較深研究以及豐富的項目實踐經驗。熱衷編寫開源項目、撰寫技術博客以及折騰各類技術項目。

Hive實戰

Hive「出身名門」,是最初由Facebook公司開發的數據倉庫工具。它簡單且容易上手,是深刻學習Hadoop技術的一個很好的切入點。

本書由數據庫專家和大數據專家共同撰寫,具體內容包括:Hive的安裝和配置,其核心組件和架構,Hive數據操做語言,如何加載、查詢和分析數據,Hive的性能調優以及安全性,等等。本書旨在爲讀者打牢基礎,從而踏上專業的大數據處理之旅。

做者簡介

斯科特·肖(Scott Shaw) Hortonworks公司解決方案工程師,曾爲微軟公司的商業智能項目擔任顧問,擁有近20年的數據管理經驗。做爲演講者和培訓師,他致力於普及分佈式計算、大數據概念、商業智能、Hive和Hadoop。

安德烈亞斯·弗朗索瓦·弗穆爾恩(Andreas Fran?ois Vermeulen) 集數據科學家、數據倉庫架構師、博士研究員、企業顧問等角色於一身,曾獲「英國數據科學技術先鋒」稱號,普遍涉足數據工程、商業智能、雲架構、深度學習等多個領域。

安庫爾·古普塔(Ankur Gupta) Hortonworks公司解決方案工程師,曾在Oracle公司擔任顧問,有多年從事數據架構師和Oracle數據庫管理員的經驗,著有Oracle GoldenGate 11g Complete Cookbook。

相關文章
相關標籤/搜索