scrapy 爬蟲踩過的坑（II）

同事寫了個爬蟲，邏輯上看着沒什麼問題，可是一直報錯：Request url must be str or unicode……

打印了一下url 和url 的類型，確實是 unicode 懵逼……

打印url 時，忽然發現url 的域名和 爬蟲設置的 allowed_domains 參數並不相同。

按正常來講，若是url 不在allowed_domains 範圍內，他應該是會被禁止的。可是當用Request 對指定 的url 發送請求時，他居然拋出了這麼一個錯誤……

改了一下allowed domains ，爬蟲就正常爬去了……