twisted異步方式保存數據到mysql

在某些爬蟲項目下，咱們須要每次執行一條插入語句，就當即調用commit方法更新數據庫，若是爬取時間太長，中途可能被迫中斷，這樣程序就不能執行close_spider中的commit。但若是在insert_db中直接加入commit，又會使程序執行變得很慢。這裏就能夠使用Twisted中提供的以異步方式多線程訪問數據庫的模塊adbapi，能夠顯著提供程序訪問數據庫的效率。python adbapi.

>>阅读原文<<