[轉載]python中multiprocessing.pool函數介紹

原文地址：http://blog.sina.com.cn/s/blog_5fa432b40101kwpi.html　　　　做者：龍峯

摘自：http://hi.baidu.com/xjtukanif/blog/item/faaa06d31df7d1d8572c84fe.html

python自2.6開始提供了多進程模塊multiprocessing，這裏主要是介紹multiprocessing下的Pool的幾個函數

一 apply(func[, args[, kwds]])
   apply用於傳遞不定參數，同python中的apply函數一致（不過內置的apply函數從2.3之後就不建議使用了），主進程會阻塞於函數。
for x in gen_list(l):
    result = pool.apply(pool_test, (x,))
    print 'main process'
這個時候主進程的執行流程同單進程一致
二 apply_async(func[, args[, kwds[, callback]]])
   與apply用法一致，但它是非阻塞的且支持結果返回後進行回調。
for x in gen_list(l):
    result = pool.apply_async(pool_test, (x,))
    print 'main process'
   這個時候主進程循環運行過程當中不等待apply_async的返回結果，在主進程結束後，即便子進程還未返回整個程序也會就退出。雖然 apply_async是非阻塞的，但其返回結果的get方法倒是阻塞的，在本例中result.get()會阻塞主進程。所以能夠這樣來處理返回結果：
    [x.get() for x in [pool.apply_async(pool_test, (x,)) for x in gen_list(l)]]
若是咱們對返回結果不感興趣， 那麼能夠在主進程中使用pool.close與pool.join來防止主進程退出。注意join方法必定要在close或terminate以後調用。
    for x in gen_list(l):
    pool.apply_async(pool_test, (x, ))
    print 'main_process'
    pool.close()
    pool.join()
三 map(func, iterable[, chunksize])
   map方法與內置的map函數行爲基本一致，在它會使進程阻塞與此直到結果返回。
   但需注意的是其第二個參數雖然描述的爲iterable, 但在實際使用中發現只有在整個隊列所有就緒後，程序纔會運行子進程。
四 map_async(func, iterable[, chunksize[, callback]])
   與map用法一致，可是它是非阻塞的。其有關事項見apply_async。
五 imap(func, iterable[, chunksize])
   與map不一樣的是， imap的返回結果爲iter，須要在主進程中主動使用next來驅動子進程的調用。即便子進程沒有返回結果，主進程對於gen_list(l)的 iter仍是會繼續進行， 另外根據python2.6文檔的描述，對於大數據量的iterable而言，將chunksize設置大一些比默認的1要好。
   for x in pool.imap(pool_test, gen_list(l)):
       pass
六 imap_unordered(func, iterable[, chunksize])
   同imap一致，只不過其並不保證返回結果與迭代傳入的順序一致。
七 close()
   關閉pool，使其不在接受新的任務。
八 terminate()
   結束工做進程，不在處理未處理的任務。
九 join()
   主進程阻塞等待子進程的退出， join方法要在close或terminate以後使用。

l = range(10)
def gen_list(l):
    for x in l:
        print 'yield', x
        yield x

def pool_test(x):
    print 'f2', x
    time.sleep(1)