淘寶TFS（三）

 安裝淘寶TFS記錄

1.須要確保安裝了automake autoconfig 和 libtool,使用auotmake --version查看，通常狀況下已安裝

（ 1.4以上版本須要安裝libuuid-devel，zlib-devel，mysql-devel三個開發包）

yum –y install automake autoconfig libtool zlib-devel mysql-devel uuid*

其中(autoconfig需在網站http://www.gnu.org/software/autoconf/下載)http://ftp.gnu.org/gnu/autoconf/autoconf-latest.tar.gz

 

2.TFS依賴於底層開發包tbnet，須要下載tbsys和tbnet源代碼(svn checkout http://code.taobao.org/svn/tb-common-utils/trunk/ tb-common-utils)

yum -y install libtool mysql-devel readline readline-devel zlib*

 

[root@localhost home]# cd tb-common-utils

[root@localhost tb-common-utils]# vi /etc/profile

# /etc/profile

export TBLIB_ROOT="/usr/local/tb/lib"    //定於tbsys和tbnet的安裝目錄

 

（ps:建議將這行命令直接寫入~/.bash_profile，而後執行「. ~/.bash_profile」）。 進入tb-common-utils文件夾, 執行build.sh進行安裝.

 

[root@localhost tb-common-utils]# chmod a+x build.sh

[root@localhost tb-common-utils]# ./build.sh

安裝在 /usr/local/tfs_lib 目錄下了

 

 

3.得到tfs源代碼:( svn checkout http://code.taobao.org/svn/tfs/trunk/ tfs)

 

4.安裝gtest庫:  http://code.google.com/p/googletest/downloads/list

 

a、下載，解壓，進入該目錄，按REAME說明 

 

b、g++ -I./include -I./ -c ./src/gtest-all.cc （注意，-I後沒有空格，直接加./）

 

c、ar -rv libgtest.a gtest-all.o

 

這步以後會生成兩個文件，libgtest.a和gtest-all.o做用不是很清楚，總之是庫。。。

 

d、g++ -I./include mytest.cpp libgtest.a -o mytest -lpthread （注意mytest爲本身寫的簡單測試代碼，編譯時注意加-lpthread,否則編譯會報錯：undefined reference to ...）

 

 

若是搭建單臺ds，請在ns.conf中將

#Block 最大備份數, default: 2

max_replication = 2

#Block 最小備份數, default: 2

min_replication = 2 改成1，不然集羣將沒法正常運行。

ds.conf中關於Nameserver的三個配置項必須和ns.conf中的一致，

[dataserver]

#!NameServer vip地址

ip_addr = 192.168.0.1

#!nameserver IP地址列表(master, salve的ip地址，只能以'|'分隔)

ip_addr_list = 192.168.0.1|192.168.0.2

#!NameServer 監聽的端口, 1024 ~ 55535

port = 9999 不然ds將沒法和ns通訊。

ns.conf中block_max_size通常設爲和mainblock_size相同或略大於mainblock_size，這樣能夠儘可能少使用擴展塊。

 

 

 

 

 

gcc編譯tfs c++客戶端

1.指定相關路徑(詳見tfs_demo.cpp 跟官方網例子同樣)

gcc tfs_demo.cpp -o tfs_demo.o -I/usr/local/tfs-2.0.3/include -I/usr/local/tb/lib/include/tbsys -I/usr/local/tb/lib/include/tbnet/ -L/usr/lib -L/usr/bin -L/usr/local/tb/lib  -L/usr/local/tb/lib/lib -ltfsclient  -ltbsys  -ltbnet -lz

 

gcc tfs_data_fetcher.cpp -o tfs_data_fetcher.o -I/usr/local/tfs-2.0.3/include -I/usr/local/tb/lib/include/tbsys -I/usr/local/tb/lib/include/tbnet/

 

tfs C++編譯經過：

gcc -c tfs_data_fetcher.cpp -o tfs_data_fetcher.o -I/usr/local/tfs-2.0.3/include -I/usr/local/tb/lib/include/tbnet/ -I/usr/local/tb/lib/include/tbsys

 

2.在/etc/ld.so.conf.d/

/usr/local/tfs-2.0.3/lib

/usr/local/tb/lib/lib

 

#tfs_data_fetcher.cpp

 

#include <stdio.h>
#include <string>
#include <func.h>
#include <tfs_client_api.h>
#include "p_w_picpath_data_block.h"
#include "tfs_data_fetcher.h"

using namespace std;
using namespace tfs::client;
using namespace tfs::common;

const char* nsip = "10.168.100.240:8108";

TfsDataFetcher::TfsDataFetcher()
{}

TfsDataFetcher::~TfsDataFetcher()
{}

static TfsClient* tfsclient = TfsClient::Instance();

p_w_picpath_data_t TfsDataFetcher::fetch_p_w_picpath_data(const char* tfs_file_name) {
  p_w_picpath_data_t rtn;
  int ret = 0;
  int fd = -1;

  tfsclient->initialize(nsip);
  // 打開待讀寫的文件
  fd = tfsclient->open(tfs_file_name, NULL, T_READ);
  if (ret != TFS_SUCCESS)
  {
    printf("open remote file %s error", tfs_file_name);
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  // 得到文件屬性
  TfsFileStat fstat;
  ret = tfsclient->fstat(fd, &fstat);
  if (ret != TFS_SUCCESS || fstat.size_ <= 0)
  {
    printf("get remote file info error");
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  char* buffer = new char[fstat.size_];
  int read = 0;
  uint32_t crc = 0;

  // 讀取文件
  while (read < fstat.size_)
  {
    ret = tfsclient->read(fd, buffer + read, fstat.size_ - read);
    if (ret < 0)
    {
      break;
    }
    else
    {
      crc = Func::crc(crc, buffer + read, ret); // 對讀取的文件計算crc值
      read += ret;
    }
  }

  if (ret < 0 || crc != fstat.crc_)
  {
    printf("read remote file error!\n");
    delete []buffer;
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  ret = tfsclient->close(fd);
  if (ret < 0)
  {
    printf("close remote file error!");
    delete []buffer;
    rtn.data = NULL;
    rtn.len = 0;
    return rtn;
  }

  rtn.data = (u_char *)buffer;
  rtn.len = (int)fstat.size_;
  //delete []buffer;
  return rtn;
}

extern "C"
p_w_picpath_data_t invoke_tfsFetcher_fetchImageData(empty_struct * p, const char * tfs_file_name)
{
    TfsDataFetcher * fetcher = (TfsDataFetcher *)p;
    return fetcher->fetch_p_w_picpath_data(tfs_file_name);
}