requests 和 scrapy 在不一樣的爬蟲應用中,各自有什麼優點?

requests 是一個http框架,能夠用來作爬蟲. scrapy 是一個專業的爬蟲框架. 我是個python新手,研究怎麼爬人家網站,朋友推薦我學requests,果真看了下文檔,幾分鐘就能開始爬了 可是我看scrapy 這個爬蟲框架,被不少人喜歡,我想這個東西必定有他的獨特之處, 我目前使用requests爬的時候,先用其餘方法獲得cookies,而後把cookies共享給requests,
相關文章
相關標籤/搜索