python實用技巧任務切分

今天來說說,Python中的任務切分。以爬蟲爲例,從一個存 url 的 txt 文件中,讀取其內容,我們會獲取一個 url 列表。我們把這一個 url 列表稱爲大任務。 列表切分 在不考慮內存佔用的情況下,我們對上面的大任務進行一個切分。比如我們將大任務切分成的小任務是每秒最多隻訪問5個URL。 import os  import time  CURRENT_DIR = os.path.dirna
相關文章
相關標籤/搜索