扣丁學堂大數據培訓分享當前國內Hadoop的使用

關於Hadoop，不少朋友都想知道到底它是如何被應用的，那麼下面扣丁學堂大數據培訓小編就給讀者們分享一下當前國內Hadoop的使用，對大數據開發感興趣的小夥伴就隨小編來了解一下吧。

一、百度

百度在2006年就開始關注Hadoop並開始調研和使用，在2012年其總的集羣規模達到近十個，單集羣超過2800臺機器節點，Hadoop機器總數有上萬臺機器，總的存儲容量超過100PB，已經使用的超過74PB，天天提交的做業數目有數千個之多，天天的輸入數據量已經超過7500TB，輸出超過1700TB。

百度的Hadoop集羣爲整個公司的數據團隊、大搜索團隊、社區產品團隊、廣告團隊，以及LBS團體提供統一的計算和存儲服務，主要應用包括：

數據挖掘與分析。

日誌分析平臺。

數據倉庫系統。

推薦引擎系統。

用戶行爲分析系統。

同時百度在Hadoop的基礎上還開發了本身的日誌分析平臺、數據倉庫系統，以及統一的C++編程接口，並對Hadoop進行深度改造，開發了HadoopC++擴展HCE系統。

二、阿里巴巴

阿里巴巴的Hadoop集羣截至2012年大約有3200臺服務器，大約30?000物理CPU核心，總內存100TB，總的存儲容量超過60PB，天天的做業數目超過150?000個，天天hivequery查詢大於6000個，天天掃描數據量約爲7.5PB，天天掃描文件數約爲4億，存儲利用率大約爲80%，CPU利用率平均爲65%，峯值能夠達到80%。阿里巴巴的Hadoop集羣擁有150個用戶組、4500個集羣用戶，爲淘寶、天貓、一淘、聚划算、CBU、支付寶提供底層的基礎計算和存儲服務，主要應用包括：

數據平臺系統。

搜索支撐。

廣告系統。

數據魔方。

量子統計。

淘數據。

推薦引擎系統。

搜索排行榜。

爲了便於開發，其還開發了WebIDE繼承開發環境，使用的相關係統包括：Hive、Pig、Mahout、Hbase等。

三、騰訊

騰訊也是使用Hadoop最先的中國互聯網公司之一，截至2012年年末，騰訊的Hadoop集羣機器總量超過5000臺，最大單集羣約爲2000個節點，並利用Hadoop-Hive構建了本身的數據倉庫系統TDW，同時還開發了本身的TDW-IDE基礎開發環境。騰訊的Hadoop爲騰訊各個產品線提供基礎雲計算和雲存儲服務，其支持如下產品：

騰訊社交廣告平臺。

搜搜(SOSO)。

拍拍網。

騰訊微博。

騰訊羅盤。

QQ會員。

騰訊遊戲支撐。

QQ空間。

朋友網。

騰訊開放平臺。

財付通。

手機QQ。

QQ音樂。

四、奇虎360

奇虎360主要使用Hadoop-HBase做爲其搜索引擎so.com的底層網頁存儲架構系統，360搜索的網頁可到千億記錄，數據量在PB級別。截至2012年年末，其HBase集羣規模超過300節點，region個數大於10萬個，使用的平臺版本以下。

HBase版本：facebook0.89-fb。

HDFS版本：facebookHadoop-20。

奇虎360在Hadoop-HBase方面的工做主要爲了優化減小HBase集羣的啓停時間，並優化減小RS異常退出後的恢復時間。

五、華爲

華爲公司也是Hadoop主要作出貢獻的公司之一，排在Google和Cisco的前面，華爲對Hadoop的HA方案，以及HBase領域有深刻研究，並已經向業界推出了本身的基於Hadoop的大數據解決方案。

六、中國移動

中國移動於2010年5月正式推出大雲BigCloud1.0，集羣節點達到了1024。中國移動的大雲基於Hadoop的MapReduce實現了分佈式計算，並利用了HDFS來實現分佈式存儲，並開發了基於Hadoop的數據倉庫系統HugeTable，並行數據挖掘工具集BC-PDM，以及並行數據抽取轉化BC-ETL，對象存儲系統BC-ONestd等系統，並開源了本身的BC-Hadoop版本。

中國移動主要在電信領域應用Hadoop，其規劃的應用領域包括：

經分KPI集中運算。

經分系統ETL/DM。

結算系統。

信令系統。

雲計算資源池系統。

物聯網應用系統。

E-mail。

IDC服務等。

七、盤古搜索

盤古搜索(目前已和即刻搜索合併爲中國搜索)主要使用Hadoop集羣做爲搜索引擎的基礎架構支撐系統，截至2013年年初，集羣中機器數量總計超過380臺，存儲總量總計3.66PB，主要包括的應用以下。

網頁存儲。

網頁解析。

建索引。

Pagerank計算。

日誌統計分析。

推薦引擎等。

最後想要了解更多關於大數據方面內容的小夥伴，請關注扣丁學堂大數據培訓官網、微信等平臺，扣丁學堂IT職業在線學習教育平臺爲您提供權威的大數據開發環境搭建視頻，大數據培訓後的前景無限，行業薪資和將來的發展會愈來愈好的，扣丁學堂老師精心推出的大數據視頻教程定能讓你快速掌握大數據從入門到精通開發實戰技能。