Proxmox VE

Proxmox VE是一個系統，專門用做管理虛擬機
http://pve.proxmox.com/wiki/Downloads
https://pve.proxmox.com/wiki/Category:HOWTO

安裝
    iso安裝，就像安裝ubuntu系統
        1，install
        2, 接下來是一個協議，選擇我贊成，而後下一步。
        3, 填寫root密碼和管理員的聯絡郵箱
        4, 填寫主機名和本機網絡，IP信息    
            (!!主機名開頭不能相同，在作集羣的時候會加不進去節點)
            例：master.pev
                worker01.pev
                worker02.pev
            系統啓動後，系統會用第一個.以前做爲主機名，若是相同，可能會發生衝突致使加不到集羣節點
        5, 安裝完成reboot
        
訪問: 
    https://192.168.20.15:8006 到達登錄頁面，使用root和密碼登錄,可選擇中文
    也能夠採用文字模式的 ssh 登入 proxmox 主機、 以 debian 的指令管理系統、 以 vzctl 指令管理 OpenVZ container

建立VM
    就是普通的虛擬機，下載的ISO文件放入服務器/var/lib/vz/template/iso目錄
建立CT
    ct就是利用openvz虛擬技術建立的虛擬機，系統模板能夠到OpenVZ官網去下載,以tar.gz後綴，放入服務器/var/lib/vz/template/cache目錄
    opvenvz
        是基於Linux內核的虛擬化技術
    
運行 pveversion -v 命令以檢查各類軟件包的版本

qm    虛擬機管理命令
    https://pve.proxmox.com/wiki/Manual:_qm
    qm list 虛擬機列表
    qm clone <vmid> <newid> [OPTIONS]  克隆
        -description string
        -format    (qcow2 | raw | vmdk)
        -full      boolean   (default=0)  徹底克隆
        -name      string  名字
        -snapname  string  
    qm config <vmid> [OPTIONS]  獲取配置文件
        -current   boolean   (default=0)  當前的
    qm destroy <vmid> [OPTIONS]  摧毀
        -skiplock  boolean  強制
    qm delsnapshot <vmid> <snapshotname> [OPTIONS]  刪除快照
        -force     boolean 強制
    qm resize <vmid> <disk> <size> [OPTIONS]  硬盤擴容
    qm rollback <vmid> <snapname>  回滾
    qm unlock <vmid> 解鎖
    qm set <vmid> [OPTIONS] 設置
        -autostart boolean   (default=0)  崩潰後自動啓動
        -onboot    boolean   (default=0) 主機開機啓動(0是不啓動)
        -kvm      boolean   (default=1) 支持kvm虛擬化
        -lock      (backup | migrate | rollback | snapshot)  鎖定不能作(備份|遷移|回滾|快照)
        -protection boolean  (default=0)  設置保護，預防remove此虛擬機
        -reboot    boolean   (default=1)  設置爲0重啓
        -skiplock  boolean  強制（Ignore locks on root）
        -serial[n] (/dev/.+|socket) 增長serial登錄方式
    qm migrate vmid nodename
        遷移機器
        -online
        -force
    qm shutdown <vmid> [OPTIONS]
        -forceStop boolean   (default=0) 確保關閉
        -skiplock  boolean
        -timeout   integer (0 - N)
    qm snapshot <vmid> <snapname> [OPTIONS]  作快照
        -description string  描述
        -vmstate   boolean 保存vm描述
    qm start <vmid> [OPTIONS]
        -skiplock  boolean
    qm stop <vmid> [OPTIONS]
        -skiplock  boolean
    qm suspend <vmid> [OPTIONS]  暫停虛擬機
        -skiplock  boolean
    qm status <vmid> [OPTIONS]
        -verbose   boolean  詳細輸出
    qm terminal <vmid> [OPTIONS]  
    qm monitor <vmid>  進入監示器接口
    qm wait <vmid> [OPTIONS] 等待vm中止
    
    
利用serial登錄
    https://pve.proxmox.com/wiki/Serial_Terminal
    vi /etc/pve/qemu-server/101.conf  101是虛擬機的序號(qm list),增長：seria[0-3]
        [PENDING]
            serial0: socket
        或者在主機上用命令增長
            qm set 101 -serial0 socket
    reboot
    dmesg | grep ttyS
        [    0.457814] 00:0a: ttyS0 at I/O 0x3f8 (irq = 4) is a 16550A
    vi /etc/default/grub
        GRUB_CMDLINE_LINUX="quiet console=tty0 console=ttyS0"
    更新grub
        # debian based
        update-grub
        # redhat based
        grub2-mkconfig --output=/boot/grub2/grub.cfg
    登錄
        qm terminal <VMiD> 

        ***沒驗證***    
刪除 Proxmox VE Cluster 設定
    記住要先備份
    確認全部node皆移除cluster
    master 及各個node 執行如下指令：
    1.中止 cluster sync 服務
        /etc/init.d/pvemirror stop
    2.中止 tunnel service 服務
        /etc/init.d/pvetunnel stop
    3.刪除 cluster 設定檔
        rm /etc/pve/cluster.cfg
        rm -rf /etc/pve/master
    4.刪除相關的ssh設定內容
        rm /root/.ssh/known_hosts
        ***沒驗證***
集羣：
    在A服務器上建立名字叫master的集羣(主節點)
        pvecm create master
        在這裏我作了在hosts里加入B服務器的hosts映射
    在B服務器上加入master節點
        pvecm add 192.168.20.20
    查看集羣的狀態
        pvecm nodes
        pvecm status
    形成無法加入集叢的緣由有兩個：
        1，節點自身已經隸屬於某一集叢
        2，新的集叢自己已經有該節點的資料
    增長節點（先刪除才能增長）：
        記住要先備份刪除的數據，後路！！！！
        先在集羣上操做：
            先要刪除節點上的kvm虛擬機
            pvecm delnode nodename
            若是提示：cluster not ready - no quorum?
                執行：pvecm e 1   #告知只有一個節點在線
        後登錄節點操做：
            先刪除(這裏把全部的節點信息都刪掉了)：
                /etc/init.d/pve-cluster stop
                rm -rf /etc/corosync/*
                rm -rf /var/lib/pve-cluster/*
                rm -rf /var/lib/corosync/*
                reboot
            啓動後登錄節點添加
                pvecm add 集羣名
            
    刪除集羣：
        /etc/init.d/pve-cluster stop
        rm -rf /etc/corosync/*
        rm -rf /var/lib/pve-cluster/*
        rm -rf /var/lib/corosync/*
        /etc/init.d/pve-cluster start
ha
    2.0版本的配置
        http://www.anjing.me/1417.html
        http://my.oschina.net/kisops/blog/161599
    4.x版本ha很簡單
        在ha界面把機器加進來，可是機器要安裝在共享存儲上面，
共享存儲
    ceph
        在pve web界面添加rbd storage
            ID爲自定義
            pool 就是一個邏輯卷
            mon host 監控器服務器，只能用ip，多個用,相隔
            username 默認admin ,沒搞懂這個哪一個用戶
            KRBD  若是是虛擬機(lxc,kvm)用，勾上這個，否則會報failed: exit code 1
        添加後如下文件會有變化
        cat /etc/pve/storage.cfg
            rbd: ceph #ID
            monhost 192.168.20.151,192.168.20.152,192.168.20.154 
            content images  #存儲文件類型
            pool rbd 
            username admin
            krbd
            nodes base03,base02
        添加認證
            mkdir /etc/pve/priv/ceph
            scp xx@xx:xx/ceph.client.admin.keyring ./
            更改ceph.client.admin.keyring的名字，改成：ID+.keyring
                例建立一個ID是ceph的storage ，文件命名爲ceph.keyring
        到些界面上就能夠看到這個storage的一些狀態了
更換網絡環境(換ip)
    vi /etc/network/interfaces
    vi /etc/hosts
    > .ss/know_hosts
    vi /var/lib/pve-cluster/config.db (重要)
    查看 /etc/pve/corosync.conf是正確的
        
文件
    /etc/pve/corosync.conf  記錄各節點的信息，若是不屬於某個節點，不會有這個文件
        nodelist
            這裏是真正的節點聯合節點信息
            有時候pvecm node命令輸出的信息不對，就要看這裏，pvecm node的信息若是沒有更新，目前只有重啓解決
    /etc/pve/node/**  下面是全節點的一些文件，pve-ssl.key是認證文件，沒有這個文件會登錄不上web界面或者集羣沒法操做這個節點
    /etc/pve/authkey.pub  這個是密鑰文件，每一個節點上都和集羣的服務器文件內容同樣
    /etc/pve/storage.cfg  存儲設備記錄文件

錯誤：
    剛建立啓動虛擬機安裝的時候提示：
        Proxmox Error: start failed: command '/usr/bin/kvm 
        解決把kvm虛擬化去掉：Proxmox>Options> KVM hardware virtualization = No
    加入集羣提示authentication key already exists
        可用pvecm add 192.168.20.20 -force   -force強制覆蓋加入節點，而後/etc/init.d/pve-cluster restart