利用python多線程和隊列管理shell程序

首先來描述下環境，在機器上有不少個JAVA程序，咱們在每一個JAVA程序裏都配置了一個啓動|中止|重啓的腳本

舉個例子：

咱們如今要同時運行這些腳本，來達到快速啓動全部的JAVA程序，若是咱們只用多線程的話，線程是不會返回消息給父進程，咱們如何才能知道這些程序是啓動成功了呢？

因此咱們用到了隊列來管理。

"""我試過gevent,可是會在command這裏形成阻塞"""

gevent代碼以下  若是有朋友知道如何優化，請您告訴我

#!/usr/bin/python2.7
# -*- coding:utf-8 -*-
import os,sys
from datetime import datetime
import commands
import gevent.monkey
gevent.monkey.patch_os()
import gevent

def Servers():
    servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
    servers=servers.split('\n')
    return servers

def handle(servername):
    if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
        print '\033[1;31;40m'
        print '========================>>>go to handle %s<<<=========================' %servername
        print '\033[0m'
        r=commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &"  ''' %(servername,sys.argv[1]))   #在這裏會阻塞，咱們沒法找到合適的地方進行協程的切換
        gevent.sleep(0)                #不管放到何處，不是以前就是切換以後都會阻塞。
        print r
    else:
        print 'Please Use start | stop | restart To Handle The Command'
        sys.exit(1)
    
if __name__ == '__main__':
    s=Servers()
    threads=[]
    for i in s:
        threads.append(gevent.spawn(handle,i))
#    print threads
    gevent.joinall(threads)

多線程代碼以下

#!/usr/bin/python2.7
# -*- coding:utf-8 -*-

from datetime import datetime
import commands
from Queue import Queue
from threading import Thread

_sentinel = object()

def Servers():
    servers=commands.getoutput('''ls /data/program/payment/ | grep 'payment' ''')
    servers=servers.split('\n')
    return servers

def producer(servername,out_q):
    if sys.argv[1] == 'start' or sys.argv[1] == 'stop' or sys.argv[1] == 'restart':
        print '\033[1;31;40m'
        print 'put %s in Queue' %servername.center(20,'*')
        print '\033[0m'
        out_q.put_nowait(commands.getoutput('''su - tomcat -c "/data/program/payment/%s/bin/server.sh %s &"  ''' %(servername,sys.argv[1])))   #放入隊列的對象
        
    else:
        print 'Please Use start | stop | restart To Handle The Command'
        sys.exit(1)

def consumer(servername,in_q):
    n=len(servername)
    L=[]                                  #增長一個已完成的程序列表
    while n > 0:                          #循環在隊列中取結果，直到循環結束
        data=in_q.get()
        n -= 1
        data1 = commands.getoutput(''' echo " %s " | egrep "Starting|Stopping" |awk 'NR==1{print $3}'  ''' %data)         #格式化字符串data，得出已經執行的程序名稱
        L.append(data1)
        print "\n%s 已經被處理\n" %L
        print '\033[1;31;40m'
        print data
        print '\n%s 未處理完成,若是長時間未完成,請查看日誌\n' %list(set(servername).difference(set(L)))                #這裏取原始列表和已經完成的列表差集，得出哪些程序還未執行完成。
        print '\033[0m'
    print '\033[1;31;40m'
    print '全部工做已經完成!!!!!!!'
    print '\033[0m' 

if __name__ == '__main__':
    s=Servers()
    q = Queue()
    t1 = Thread(target=consumer, args=(s,q,))           #消費者在隊列中獲取結果，前面的函數內部已經循環獲取
    for i in s:
        t2=Thread(target=producer, args=(i,q,))         #講線程進行管理，放入隊列
        t2.start()                                      #啓動生產者線程
#        t2.join()                                      #啓動生產者之後放棄校驗線程是否結束，進行併發，由於咱們是把線程放入隊列進行管理的，因此不用在這裏等待線程結束，若是使用了join這裏會阻塞咱們的程序。線程結束後，消費者會通知父進程線程已經結束。
    t1.start()                                          #啓動消費者線程
    t1.join()                                           #在獲取完成以前進行線程的阻塞

簡單的說下join這個方法：

調用Thread.join將會使主調線程堵塞，直到被調用線程運行結束或超時。參數timeout是一個數值類型，表示超時時間，若是未提供該參數，那麼主調線程將一直堵塞到被調線程結束。