爬蟲-京東商品搜索頁爬取

難點： 1，京東首次搜索只展示30條數據，這個可以直接在源代碼取到，但是也要注意不同頁面抓取規則可能不一樣（頁面結構有變化需要判斷） 2，繼續下拉可以在ajax獲取到另外30條數據，但是這個requests提交需要各種參數，很麻煩，我這暫時沒有找到自動填寫的方法，只能根據搜索需求人工改寫下 解析頁面信息有好多坑，比如有的價格不全，同一個頁面需要解析的規則就不一樣 ajax參數，headers的pa

>>阅读原文<<