碰到的一個反爬場景，它吃光了對應機器的內存，應用服務也無法正常使用

記起之前獲取數據的時候碰到過一個狀況，用光了機器的內存，致使應用服務都沒法正常使用，因此這裏簡單記錄一下。html 場景描述 作一些數據的分析，因此要抓點數據進行測試。因而分析目標網站以後，進行簡單的編碼開始抓取。web 抓取規則是獲取n頁列表的數據，而後解析列表中每一個頁面的數據，進行入庫操做。大概不到100頁，每頁10條數據。總共小於1000個頁面。數據庫 這裏使用的是JAVA語言的webma

>>阅读原文<<