查詢MYSQL和查詢HBASE速度比較

上一篇文章：我要上谷歌

 

---

 

Mysql，關係型數據庫；

HBase，NoSql數據庫。

查詢Mysql和查詢HBase，到底哪一個速度快呢？

與一些真正的大牛討論時，他們說HBase寫入速度，能夠達到每秒1W。而HBase的理想速度爲每秒10W。

來個實驗說明一下，此實驗只能代表，當前環境下運行狀態。個人實驗效果，沒有到1W，還在優化中…

 

環境：

有3臺虛擬機，運行Hadoop集羣；3臺虛擬機也在跑HBase：master，node1，node2

master上，同時安裝了Mysql數據庫。

目前有這樣一個需求：

有一堆文本文件，每一個文本文件內，存儲着日誌；

每一行爲一條記錄；

如今須要，逐行讀取記錄，並根據記錄中的mac地址和sn號，去從HBase或Mysql中，獲取帳號信息。

而後合併成一條記錄，寫入HBase的「SHUJU」表內。

 

Mysql表結構：

id,mac,sn,addtime,account

HBase表結構：

ROWKEY爲mac+sn，mac，sn，account，addtime

 

測試效果以下：

每隔一分鐘，執行一次count操做，統計當前數據條數。

select count(1) from SHUJU

結果以下

=====================================

Mysql上，第一次測試。

開始時間11:03:15

28135（條數）

39014

49659

264564

274379

285174（條數）

結束時間11.26.15

285174 – 28135 = 257039

257039 / 23 = 11 175.608695652

也是1W以上。。。

=====================================

查詢的 HBase庫

開始時間14:43:00

5622（條數）

16671

25062

34848

46652

58001

69690

79908（條數）

結束 14:50:00

79908 – 5622 = 74 286

74286 /7 = 10 612 每分鐘個數。

=====================================

mysql

開始 14:58:30

19248（條數）

26526

36389

45837

51945

62497

72319

82695（條數）

結束時間：15:04:30

間隔 七分鐘

82695 – 19248 = 63 447

93447 / 7 = 9 063.8571428571

======================================

能夠看出在HBase中速度，比mysql中速度略快一點。

可是總的速度，仍是有待提升。。。

 

文章來自： 大牛筆記

博客園博客地址：http://www.cnblogs.com/laov/p/4134998.html