使用hadoop mapreduce分析mongodb數據

使用hadoop mapreduce分析mongodb數據

（如今不少互聯網爬蟲將數據存入mongdb中，因此研究了一下，寫此文檔）

版權聲明：本文爲yunshuxueyuan原創文章。
如需轉載請標明出處： http://www.cnblogs.com/sxt-zkys/
QQ技術交流羣：299142667

1、 mongdb的安裝和使用

一、 官網下載mongodb-linux-x86_64-rhel70-3.2.9.tgz

 

二、 解壓 （能夠配置一下環境變量）

三、 啓動服務端

./mongod  --dbpath=/opt/local/mongodb/data --logpath=/opt/local/mongodb/logs  --logappend  --fork(後臺啓動)

第一種：不帶auth認證的

 

第二種：須要帶auth認證的（即須要用戶名和密碼的）

 

當指定用戶名和密碼在查看數據，發現就能夠看獲得了

 

四、 啓動客戶端

./mongo

 

5、客戶端shell命令

show dbs    顯示mongodb中有哪些數據庫

 

db    顯示當前正在用的數據庫

 

use db    你要使用的數據庫名

 

(注：若database不存在，則會建立一個，此時若不作任何操做直接退出，則MongoDB會刪除該數據庫)

db.auth(username,password)  username爲用戶名,password爲密碼 登錄你要使用的數據庫

db.getCollectionNames()  查看當前數據庫有哪些表

 

db.[collectionName].insert({...})  給指定數據庫添加文檔記錄

 

db.[collectionName].findOne()   查找文檔的第一條數據

db.[collectionName].find()   查找文檔的所有記錄

 

db.[collection].update({查詢條件},{$set:{更新內容}})   更新一條文檔記錄

 

db.[collection].drop()   刪除數據庫中的集合

 

db.dropDatabase()   刪除數據庫

 

2、 Mapreduce 分析mongodb的數據實例

 

一、 編寫mapreduce的代碼前，須要另外添加兩個jar包，還有需（jdk1.7以上）

  

二、 需求介紹與實現

原數據：

 

結果數據：

 

代碼編寫：

Job：

 

Mapper:

 

Reduce:

 

最終的結果數據：

 

 

3、 最後給你們推薦一個mongodb數據庫的管理工具，挺好用的