美團爬蟲-商鋪信息抓取2

我們接着上一篇繼續分析，數據來源確認好了，參數構造分析後，創建scrapy項目 這裏採用手機瀏覽器中api的構造方式抓取 接着上一篇講的，需要細化區域，那麼就需要拿到該區域的areaId 在請求中我們並沒有看到有額外的XHR負責區域id數據的傳輸，那麼就說明該數據在源碼中，我們通過定位查找，可以發現地區id值是通過js進行選取的 將areaId以字典areaList的形式存儲，並重新構造start

>>阅读原文<<