iscsi 配置筆記

 

DAS  直連存儲

NAS    nfs  samba  

SAN  存儲區域網絡 

IP SAN

node1                 node2

     \                       /

      \                     /

            交換機

       /                    \

     /                       \

  192.168.10.2     192.168.10.3

#配置yum

Server VT Cluster ClusterStorage

存儲節點配置：

節點3安裝一個軟件：

yum install scsi-target-utils -y   

編輯配置文件

vim /etc/tgt/targets.conf

通信設備

default-driver iscsi    

共享設備

iqn iscsi合格名稱

<target iqn.2012-07.com.zhaoyun:node3.target1>

     backing-store  /dev/sda    共享的設備名

     write-cache   off                 關閉寫緩存，若是不關，重啓會出錯

     vendor_id      node3            能夠理解爲，主機地址

     product_id    storage1          產品型號

     initiator-address  192.168.10.1     容許訪問的IP地址，訪問控制

     initiator-address  192.168.10.2    

</target>

service tgtd start   啓動服務

tgt-admin    --show 

節點4 

同節點3差很少

前端節點配置,客戶端

須要支持  

yum install iscsi-initiator-utils -y

service iscsi start 

發現共享資源信息

iscsiadm -m discovery  -t sendtargets -p 192.168.10.3:3260   

iscsiadm -m discovery  -t sendtargets -p 192.168.10.4:3260

添加資源

iscsiadm -m node -T iqn.信息  -l 登錄  | -u 登出

udev  當系統插入硬件時， kernel先加載設備驅動去識別，

掛載規則，寫udev規則

udevinfo -a -p /sys/block/sdb              -a 全部信息  -p 路徑

 從以上值提取信息   ==是匹配  +=是添加

vim /etc/udev/rules.d/80-scsi.rules

第一塊

SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node3"  ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node3"  

第二塊

SUBSYSTEM=="block" ,SYSFS{size}=="4096000",SYSSF{vendor}=="node4"  ,SYSSF{model}=="storage1"，SYMLINK+="iscsi/node4"  

vgchange -ay vg001

gfs   全局文件系統  

若是前端幾點使用GFS，前邊節點必須是一個集羣

安裝集羣

node1 node2都須要配置 

yum install system-config-cluster -y

yum install cman -y

service cman start

clustat 

gfs-utils 提供格式化的命令，第二個提供了讓內核支持gfs。

yum install gfs-utils kmod-gfs  

modprobe gfs2

lsmod |grep gfs

-t  集羣名:鎖表名            -j 指定日誌的格式

格式化gfs文件系統

gfs_mkfs  -t  iscsi_cluster:tables -p lock_dlm -j 2 /dev/vg001/lv0

掛載gfs文件系統

mount -t gfs2 -o lockproto=lock_dlm /dev/vg001/lv001 /mnt

擴展iscsi空間，擴展存儲節點

新加新的存儲節點

yum install iscsi-target-utils -y

vim /etc/tgt/targets.conf

<target iqn.2012-07.com.zhaoyun:node5.target1>

   backing-store /dev/sdb

   write-cache off

   vendor_id node5

   product_id storage1

  initiator-address 192.168.10.1

  initiator-address 192.168.10.2

</target>

啓動服務

service tgtd start

tgt-admin --show

#####

node1  查看配置

iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260

iscsiadm -m node -T iqn. -l   登錄

fdisk -l 發現新設備

vi /etc/udev/80-iscsi.rules

添加規則

start_udev 重啓udev

pvcreate /dev/iscsi/node5

vgextend vg001 /dev/iscsi/node5 

lvextend -l +900 /dev/vg001/lv001

gfs_grow -v /iscsi/

df -h   磁盤空間擴大

node2通node1同樣

iscsiadm -m discovery -t sendtargets -p 192.168.10.5:3260

iscsiadm -m node -T iqn. -l 

不停業務更新tgt配置文件

tgt-admin --update --force  讀取配置文件內容

添加節點node6 ,web節點

cman_tool update /etc/cluster/cluster.conf

編輯配置文件、、

pvscan

vgchange -ay vg001

lvdisplay

yum install gfs2_utils kmod-gfs -y

modeprobe gfs2

mount -t gfs -o lockproto=lock_dlm /dev/vg001/lv001 /iscsi

報日誌少，掛載失敗

gfs_tool  journals /iscsi

gfs2_jadd -j 1 /iscsi 

開機自動掛載

vim /etc/fstab

/dev/vg001/lv001 /iscsi gfs2  lockproto=lock_dlm 0 0

yum install lvm2-cluster

lvmconf --enable-cluster   集羣虛擬邏輯卷組

chkconfig clvmd on