主流NoSQL數據庫評測之Tokyo Cabinet

時間 2020-07-17

原文原文鏈接

上一篇文章我們對NoSQL數據庫產品中的HandlerSocket作了詳細的評測。在本篇中要評測的NoSQL產品是Tokyo Cabinet和Tokyo Tyrant，Tokyo Cabinet是一個性能優秀的數據存儲引擎，而Tokyo Tyrant則提供了訪問Tokyo Cabinet數據的網絡接口。這是一個很成熟的產品，在國內外也有衆多的成功案例。php

　　1、Tokyo Cabinet和Tokyo Tyrant簡介html

　　Tokyo Cabinet(簡稱TC)和Tokyo Tyrant(簡稱TT)，顧名思義，是源自日本的開源項目。由FAL Labs維護，主要的開發人員是Mikio Hirabayashi。最先應用在日本最大的SNS網站mixi.jp上成功後而聲名鵲起。linux

　　TC是一個用C寫的數據存儲引擎，以key-value的方式存儲數據，支持Hash、B+ tree、Hash Table等多種數據結構。同時提供了C、 Perl、 Ruby、Java和Lua等多種語言的API支持，可是若是經過網絡來訪問，就須要用TT。TT一樣是用C寫的，支持從網絡端高併發、多線程的訪問 TC。另外TC/TT支持master/slave架構，能夠經過配置實現高可用性，這也是很不錯的一個特性。web

　　TC由於支持靈活的數據結構而倍受歡迎，特別是Hash Table類型，很像傳統的關係型數據庫，只是每條存儲記錄的列是自由定義的，能夠經過列做爲條件來查詢，十分方便。這是不少key-value結構的 NoSQL產品所不具有的特性。固然，Hash Table類型和Hash、B+ tree相比存取效率會低一些，任何事物都是有兩面性的，在帶來高度靈活度的同時，必然要犧牲部分的效率。數據庫

　　TC/TT是一個久經考驗的很穩定的產品，在千萬及如下數據量級別表現出色。可是開發者因爲種種緣由，已經很長時間沒有更新版本了，而是推出了對應升級產品，叫作Kyoto Cabinet和Kyoto Tycoon，這也給TC/TT的前景帶來了不明朗的因素，很明顯做者是鼓勵人們使用升級的產品，可是因爲新產品沒有更多的成功案例，在業界的影響力反而不如TC/TT，所以在現階段，TC/TT仍然是一個不錯的NoSQL選擇。apache

　　2、測試說明緩存

　　一、測試環境服務器

　　TC/TT部署在一臺PC 服務器上，配置以下：網絡

　　CPU爲Xeon 2.80GHz *4數據結構

　　內存爲4G

　　硬盤爲一塊400G SATA盤

　　操做系統爲64位CentOS 5.3版本

　　二、測試方法

　　這裏仍然採用第三方實現的PHP客戶端進行測試，網址爲http://pecl.php.net/package/tokyo_tyrant，這是一個標準的PHP擴展程序，能夠編譯到PHP運行環境中。要說明的是，這個PHP客戶端實現的是TT接口，確定比使TT自帶的tcrtest效率要低一些，但是咱們的測試要儘可能模擬實際的生產環境，因此這裏使用了第三方的PHP客戶端。

　　爲了避免對測試服務器產生額外的影響，測試客戶端部署在另一臺獨立的服務器上，運行的PHP的版本是5.3.5，web server是Nginx 0.8.54，經過fastcgi的方式調用PHP服務。使用apache ab工具實現多個請求和併發操做。

　　爲了更全面的反應TC/TT的性能，我對B+ tree和Hash Table兩種數據庫類型分別進行了測試，就使用上文提到的ttserver示例語句來創建測試數據庫，每一個類型的測試又分爲兩個步驟，首先是寫操做，通過500個請求，每一個請求寫入10000條記錄，併發度爲2來共寫入500萬條數據，數據的key爲數字1到5000000，value大小爲100個字節。而後是讀操做，也是用500個請求，每一個請求隨機根據key值讀出10000條記錄，併發度爲10共讀出500萬條記錄，評測的重點是寫入和讀出數據的時間，以及在此過程當中服務器的資源使用狀況。

　　3、安裝和使用

　　一、下載相關軟件的最新版本(TC、TT和TC的lua擴展)：

　　[root@localhost tctt]# wget http: // fallabs.com / tokyocabinet / tokyocabinet - 1.4 . 47 .tar.gz

[root@localhost tctt]# wget http: // fallabs.com / tokyotyrant / tokyotyrant - 1.1 . 41 .tar.gz

[root@localhost tctt]# wget http: // fallabs.com / tokyocabinet / luapkg / tokyocabinet - lua - 1.9 .tar.gz

　　注意這裏的lua擴展是可選的，若是不須要使用lua接口，能夠沒必要安裝。

　　二、安裝lua腳本，注意這裏不能經過yum的方式安裝，不然後面裝tt時會提示找不到lua.h文件：

　　wget http: // www.lua.org / ftp / lua - 5.1 . 4 .tar.gz

make linux

make install

　　安裝過程當中通常會報錯以下：

　　luaconf.h: 275 : 31 : error : readline / readline.h: No such file or directory

luaconf.h: 276 : 30 : error : readline / history.h: No such file or directory

　　經過yum安裝readline-devel便可：

yum install readline - devel

　　三、安裝TC、TT和TC的lua擴展，注意的是若是要使用LUA接口，那麼編譯TT的時候要加--enable-lua參數：

　　[root@localhost tctt]# tar zxvf tokyocabinet - 1.4 . 47 .tar.gz

[root@localhost tctt]# cd tokyocabinet - 1.4 . 47

[root@localhost tokyocabinet - 1.4 . 47 ]# . / configure

[root@localhost tokyocabinet - 1.4 . 47 ]# make

[root@localhost tokyocabinet - 1.4 . 47 ]# make install

[root@localhost tctt]# tar zxvf tokyocabinet - lua - 1.9 .tar.gz

[root@localhost tokyocabinet - lua - 1.9 ]# make

[root@localhost tokyocabinet - lua - 1.9 ]# make install

[root@localhost tctt]# tar zxvf tokyotyrant - 1.1 . 41 .tar.gz

[root@localhost tctt]# cd tokyotyrant - 1.1 . 41

[root@localhost tokyotyrant - 1.1 . 41 ]# . / configure -- enable - lua

[root@localhost tokyotyrant - 1.1 . 41 ]# make

[root@localhost tokyotyrant - 1.1 . 41 ]# make install

　　至此就安裝完成了，整個過程很簡單，固然安裝過程可能須要一些其餘的程序包，能夠根據提示進行安裝便可。

　　TT提供了不少命令行工具來管理數據庫，比較經常使用的兩個是ttserver和tcrmgr。

　　Ttserver的用法以下：

　　ttserver [ - host name] [ - port num] [ - thnum num] [ - tout num] [ - dmn] [ - pid path] [ - kl] [ - log path] [ - ld| - le] [ - ulog path] [ - ulim num] [ - uas] [ - sid num] [ - mhost name] [ - mport num] [ - rts path] [ - rcc] [ - skel name] [ - mul num] [ - ext path] [ - extpc name period] [ - mask expr] [ - unmask expr] [dbname]

　　各個參數的說明可查看官方文檔，這裏就不一一列舉了。咱們能夠創建一個hash table類型和一個B+ tree類型的數據庫：

　　ttserver - host 192.168 . 0.35 - port 11301 - thnum 8 - dmn - pid / home / tc / test_data / test_data_b.pid - log / home / tc / test_data / test_data_b.log - le - ulog / home / tc / test_data / - ulim 128m - sid 1 - rts / home / tc / test_data / test_data_b.rts / home / tc / test_data / test_data.tcb

ttserver - host 192.168 . 0.35 - port 11302 - thnum 8 - dmn - pid / home / tc / test_data / test_data_t.pid - log / home / tc / test_data / test_data_t.log - le - ulog / home / tc / test_data / - ulim 128m - sid 1 - rts / home / tc / test_data / test_data_t.rts / home / tc / test_data / test_data.tct

　　注意最後一個參數的擴展名tcb和tct決定了數據庫的類型分別是B+ tree和table。

　　經過tcrmgr命令行工具能夠管理遠程數據庫，好比咱們要查看key爲1的記錄能夠這樣操做：

　　[root@localhost tc]# tcrmgr get -port 11301 192.168.0.35 1

　　要了解更詳細的信息，讀者能夠參看官方文檔。

　　4、測試結果

　　一、B+tree類型寫操做

　　成功寫入500萬條記錄，共耗時739秒，平均每秒寫入數據6766筆。數據文件大小137M。寫入過程當中，服務器內存、CPU和磁盤等資源使用狀況以下圖所示：

　　可見，CPU使用率平穩，Idle值穩定在73到83之間，wait值穩定在7到12之間。內存分配上的變化較大，主要用來緩存數據，cache部分上升了1.1G，可是沒有交換區到內存的換入換出。磁盤IO表現有周期性的上下波動，估計和TC的實現機制有關，數據先寫入內存緩衝區，而後按期的刷新到磁盤。

　　二、B+tree類型讀操做

　　成功讀出500萬條記錄，共耗時1171秒，平均每秒讀出數據4270筆。

　　讀數據過程當中沒有發生磁盤IO。CPU較繁忙，Idle值穩定在38左右，等待CPU資源的進程一直在1到6個之間。內存表現平穩沒有波動。

　　三、Hash Table類型寫操做

　　成功寫入445萬條記錄，寫入失敗55萬條記錄，共耗時1560秒，平均每秒寫入數據2853筆。數據文件大小538M。寫入過程當中，服務器內存、CPU和磁盤等資源使用狀況以下圖所示：

　　CPU使用率較平穩，Idle值穩定在60到80之間，wait值最高在50左右，穩定在20到40之間。內存cache部分上升了0.7G用於緩存數據。磁盤IO表現有呈階梯狀的上升，最後達到100%，致使沒法成功寫入數據。

　　四、Hash Table類型讀操做

　　成功讀出500萬條記錄，共耗時175秒，平均每秒讀出數據28571筆。

　　讀數據過程當中沒有發生磁盤IO。CPU較繁忙，Idle值穩定在37到41之間，等待CPU資源的進程一直在1到9個之間。內存表現平穩沒有波動。

　　5、總結

　　經過以上測試結果能夠說明，TC/TT寫入的數據的時候，先緩衝到內存中，而後經過必定的機制寫入磁盤，這也是寫的效率較高的緣由，可是由此帶來了週期性的磁盤繁忙，也可能有丟失數據的風險。寫入的數據徹底緩存到了文件系統中，因此cache部分佔用的內存大量增長，這也是讀取數據的時候沒有發生磁盤 IO的緣由。B+ tree類型寫入性能十分優異，使人驚訝的是讀出的速度反而慢於寫入的速度。Hash Table類型寫入性能通常，但讀取性能良好。整體上來講TC/TT在非海量數據的狀況下表現不錯，服務器資源佔用穩定，讀寫效率較高。