Colly有一個內存存儲後端來存儲cookie和訪問過的url,可是它能夠被實現Colly /storage. storage的任何自定義存儲後端覆蓋。git
Colly的默認後端。使用collection . setstorage()覆蓋。github
See redis example for details.redis