Ceph集羣中如何摘除一個包含mon、osd和mds的節點

步驟以下：

一、摘除mon

[root@bgw-os-node153 ~]# ceph mon remove bgw-os-node153

removed mon.bgw-os-node153 at 10.240.216.153:6789/0, there are now 2 monitors

二、摘除此節點上全部的osd

1)、查看此節點的osd

[root@bgw-os-node153 ~]# ceph osd tree 

-4      1.08                    host bgw-os-node153

8       0.27                            osd.8   up      1

9       0.27                            osd.9   up      1

10      0.27                            osd.10  up      1

11      0.27                            osd.11  up      1

2)、把上面的節點的osd進程停掉

[root@bgw-os-node153 ~]# /etc/init.d/ceph stop osd

=== osd.10 === 

Stopping Ceph osd.10 on bgw-os-node153...kill 2251...done

=== osd.9 === 

Stopping Ceph osd.9 on bgw-os-node153...kill 2023...kill 2023...done

=== osd.8 === 

Stopping Ceph osd.8 on bgw-os-node153...kill 1724...kill 1724...done

=== osd.11 === 

Stopping Ceph osd.11 on bgw-os-node153...kill 1501...done

3）、再次查看ceph osd狀態

[root@bgw-os-node153 ~]# ceph osd tree

-4      1.08                    host bgw-os-node153

8       0.27                            osd.8   down    1

9       0.27                            osd.9   down    1

10      0.27                            osd.10  down    1

11      0.27                            osd.11  down    1

4)、刪除全部的osd

[root@bgw-os-node153 ~]# ceph osd rm 8

removed osd.8

[root@bgw-os-node153 ~]# ceph osd rm 9

removed osd.9

[root@bgw-os-node153 ~]# ceph osd rm 10

^[[Aremoved osd.10

[root@bgw-os-node153 ~]# ceph osd rm 11

removed osd.11

5)、刪除全部osd的crush map 

[root@bgw-os-node153 ~]# ceph osd crush rm osd.8

removed item id 8 name 'osd.8' from crush map

[root@bgw-os-node153 ~]# ceph osd crush rm osd.9

removed item id 9 name 'osd.9' from crush map

[root@bgw-os-node153 ~]# ceph osd crush rm osd.10

^[[Aremoved item id 10 name 'osd.10' from crush map

[root@bgw-os-node153 ~]# ceph osd crush rm osd.11

removed item id 11 name 'osd.11' from crush map

6)、刪除全部osd的認證

[root@bgw-os-node153 ~]# ceph auth del osd.8

updated

[root@bgw-os-node153 ~]# ceph auth del osd.9

updated

[root@bgw-os-node153 ~]# ceph auth del osd.10

updated

[root@bgw-os-node153 ~]# ceph auth del osd.11

updated

7）、在ceph osd tree中刪除此機器host的crush map

[root@bgw-os-node153 ~]# ceph osd crush rm  bgw-os-node153

removed item id -4 name 'bgw-os-node153' from crush map

8）、卸載全部掛載在osd的硬盤

[root@bgw-os-node153 ~]# umount /var/lib/ceph/osd/ceph-8

[root@bgw-os-node153 ~]# umount /var/lib/ceph/osd/ceph-9

[root@bgw-os-node153 ~]# umount /var/lib/ceph/osd/ceph-10

[root@bgw-os-node153 ~]# umount /var/lib/ceph/osd/ceph-11

三、摘掉mds

一、直接關閉此節點的mds進程

[root@bgw-os-node153 ~]# /etc/init.d/ceph stop mds

=== mds.bgw-os-node153 === 

Stopping Ceph mds.bgw-os-node153 on bgw-os-node153...kill 4981...done

[root@bgw-os-node153 ~]# 

二、刪除此mds的認證

[root@bgw-os-node153 ~]# ceph auth del mds.bgw-os-node153

updated