直接調用阿里雲接口爬取數據

1、初次試探 接到任務，要爬取阿里雲上所有拍賣的域名。本想試試scrapy，查看了下網頁源碼，沒有找到要爬取的內容。大網站就是不一樣啊，數據隱藏的這麼深。 2、深入分析 從源碼沒看出蛛絲馬跡，習慣性地打開了Chrome的調試界面，看看我提交請求時到底幹了些啥，果然，露餡了！ 原來域名列表是用js在前端渲染的，而不是在後端渲染的，用到了jsonp技術，用來解決Ajax跨域問題。點擊search?fe

>>阅读原文<<