美團爬蟲-商鋪信息抓取2

咱們接着上一篇繼續分析，數據來源確認好了，參數構造分析後，建立scrapy項目git 這裏採用手機瀏覽器中api的構造方式抓取github 接着上一篇講的，須要細化區域，那麼就須要拿到該區域的areaIdjson 在請求中咱們並無看到有額外的XHR負責區域id數據的傳輸，那麼就說明該數據在源碼中，咱們經過定位查找，能夠發現地區id值是經過js進行選取的api 將areaId以字典areaList的

>>阅读原文<<