爬蟲經驗小總結

前言 項目組要我爬取一些養分數據，過程曲折，仍是有許多體會的，總結一下，防止之後在入坑mysql   注意事項 存取爬取數據時，要保留數據來源的url，以便之後發現數據有誤之後能夠矯正 若是插入數據到有外鍵的數據庫，必定要把全部的插入語句組成一個事務，不然一旦出現異常，數據就不一致了 存儲文本信息到mysql時儘可能使用text類型，指不定就爆出長度不夠 要作好重複處理的標記，我習慣使用廣度優先，

>>阅读原文<<