用saltstack cp模塊實現文件管理、拉取和回滾下發

時間 2021-05-16

標籤 python web mongodb vim api 運維 python2.7 ide oop 測試欄目 Python 简体版

原文原文鏈接

前沿：python

最近搞集羣配置系統，正在搞配置文件的備份，中心點上傳，文件hash記錄，配置文件的下發回滾。這裏要用到saltstack cp模塊，來實現對 master minion文件的傳輸及管理。
web

這裏說下，我主要的實現方式，文件備份是經過自寫的模塊備份，而後調用cp.push來拉取到master備份。下發回滾的話，用的額是get_file的方式，從master拖過去。其實saltstack自己就含有文件的備份，可是爲了多方面着想，多寫了一個邏輯，存放到master點。mongodb

這裏提一句，有朋友很納悶，jinja2渲染好的配置文件爲啥不用sls的模式，而用get_url的模式。我的以爲，若是是初始化配置，sls非常方便，可是對於常常有變更的服務，反而經過mongodb記錄數據，而後web api接口渲染配置文件來的更方便。vim

（備份回滾思路，有興趣的朋友能夠參考下）
api

說的有點亂，具體的本身看文檔！
運維

get_filepython2.7

cp.get_file用來從master下載文件到客戶端，能夠外加幾個參數，好比沒有文件夾，建立文件夾的makedirs=True ，壓縮的gzip參數。 ide

語法以下：oop

salt '*' cp.get_file salt://rr /etc/rr

get_url測試

cp.get_url能夠從一個URL地址下載文件，URL能夠是msater上的路徑（salt://），也能夠是http網址。

salt '*' cp.get_url salt://my/file /tmp/mine
salt '*' cp.get_url http://xiaorui.cc/good.txt  /tmp/good.txt

我的以爲 get_template 沒啥用處，用他還不如sls的推送。

經過saltstack cp 實現配置文件的下發！

[root@ruifengyun _modules ]$ cd /srv
[root@ruifengyun /srv ]$ ll
s總用量 4
drwxr-xr-x 4 root root 4096  2月 13 17:01 salt
[root@ruifengyun /srv ]$ cd salt
[root@ruifengyun salt ]$ ll
總用量 12
drwxr-xr-x 2 root root 4096  2月 13 16:59 _grains
drwxr-xr-x 2 root root 4096  2月 19 10:20 _modules
-rw-r--r-- 1 root root   61  2月 13 16:59 top.sls
[root@ruifengyun salt ]$ mkdir backup
[root@ruifengyun salt ]$ cd backup
[root@ruifengyun backup ]$ ll
總用量 0
[root@ruifengyun backup ]$ touch 111
[root@ruifengyun backup ]$ echo 111 >1
[root@ruifengyun backup ]$ cat 1
111
[root@ruifengyun backup ]$
[root@ruifengyun backup ]$
[root@ruifengyun backup ]$ salt 'lvs150.xiaorui.cc' cp.get_file salt://backup/1 /root/1
lvs150.xiaorui.cc:
    /root/1
[root@ruifengyun backup ]$                                                      
[root@ruifengyun backup ]$
[root@ruifengyun backup ]$ salt 'lvs150.xiaorui.cc' cp.get_url http://10.58.101.248/api/wgetconf\?masterip\=10.2.20.111\&typemode\=reallist /root/keeprealist
lvs150.xiaorui.cc:
    /root/keeprealist
[root@ruifengyun backup ]$
[root@ruifengyun backup ]$ salt 'lvs150.xiaorui.cc' cmd.run "head /root/keeprealist"                                                                  
lvs150.xiaorui.cc:
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                       
            virtual_server 10.2.20.11 80 {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
                                delay_loop 6
                                lb_algo    wlc
                                lb_kind    DR
                                persistence_timeout  0
[root@ruifengyun backup ]$
[root@ruifengyun backup ]$

原文：http://rfyiamcool.blog.51cto.com/1030776/1360468

從minion拉取文件！

[root@ruifengyun backup ]$
[root@ruifengyun backup ]$ cat /var/cache/salt/master/minions/lvs150.xiaorui.cc/files/root/keeprealist
[root@ruifengyun backup ]$
[root@ruifengyun backup ]$ salt 'lvs150.xiaorui.cc' cp.push /etc/keepalived/conf.d/wan/reallist.conf
lvs150.xiaorui.cc:
    True
[root@ruifengyun backup ]$ cat /var/cache/salt/master/minions/lvs150.xiaorui.cc/files/etc/keepalived/conf.d/wan/reallist.conf|more
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     
        virtual_server 10.2.20.11 80 {
                            delay_loop 6
                            lb_algo    wlc
                            lb_kind    DR
                            persistence_timeout  0
                            protocol TCP
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                         
                            real_server 10.2.20.12 80  {
                                                weight 1
                                                inhibit_on_failure
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                     
                                                    TCP_CHECK {
                                                        connect_timeout 10
                                                        nb_get_retry 3
                                                        delay_before_retry 3
                                                        connect_port 80
                                                    }

有興趣的朋友能夠改cp.push的源碼，也就那幾行。

原文：http://rfyiamcool.blog.51cto.com/1030776/1360468

[root@ruifengyun backup ]$ vim /usr/lib/python2.7/dist-packages/salt/modules/cp.py

我這裏爲了獲取的方便，用basename來獲取他的文件名。

def push(path):
    '''
    Push a file from the minion up to the master, the file will be saved to
    the salt master in the master's minion files cachedir
    (defaults to /var/cache/salt/master/minions/files)
    Since this feature allows a minion to push a file up to the master server
    it is disabled by default for security purposes. To enable add the option:
    file_recv: True
    to the master configuration and restart the master
    CLI Example::
        salt '*' cp.push /etc/fstab
    '''
    path=os.path.basename(path)
    if '../' in path or not os.path.isabs(path):
        return False
    if not os.path.isfile(path):
        return False
    auth = _auth()
    load = {'cmd': '_file_recv',
            'id': __opts__['id'],
            'path': path.lstrip(os.sep)}
    sreq = salt.payload.SREQ(__opts__['master_uri'])
    with salt.utils.fopen(path) as fp_:
        while True:
            load['loc'] = fp_.tell()
            load['data'] = fp_.read(__opts__['file_buffer_size'])
            if not load['data']:
                return True
            ret = sreq.send('aes', auth.crypticle.dumps(load))
            if not ret:
                return ret

就這樣了！測試的模式用的是cli，你們在運維平臺上可使用api。