python實用技巧任務切分

今天來說說，Python中的任務切分。以爬蟲爲例，從一個存 url 的 txt 文件中，讀取其內容，我們會獲取一個 url 列表。我們把這一個 url 列表稱爲大任務。 列表切分 在不考慮內存佔用的情況下，我們對上面的大任務進行一個切分。比如我們將大任務切分成的小任務是每秒最多隻訪問5個URL。 import os  import time  CURRENT_DIR = os.path.dirna

>>阅读原文<<