python requests 爬取騰訊科技的新聞

昨天收到一道面試題爬取http://tech.qq.com/articleList/rolls/的新聞,當時看到的時候簡直簡單爆了,事實證明的確是,將將將,就是這個頁面,很普通啊,開幹。。。    1.首先發現在查看源代碼的時候看不見這些數據,所以需要js抓一下,注意到url的最後一個參數是個時間戳,然後就是headers裏一定要放上referer,不然獲取不到的(就因爲這個referer,讓我手
相關文章
相關標籤/搜索