Python使用selenium進行爬蟲(一)

    JAVA爬蟲框架不少,相似JSOUP,WEBLOGIC之類的爬蟲框架都十分好用,我的認爲爬蟲的大體思路就是:css 一、挑選需求爬的URL地址,將其放入需求網絡爬蟲的隊列,也能夠把爬到的符合必定需求的地址放入這個隊列中html 二、獲取一個url進行DNS解析,獲取其主機IPweb 三、針對這個url地址將其頁面加載下來(也就是這個頁面的html或者jsp)加載下來,不一樣的框架有不一樣的
相關文章
相關標籤/搜索