爲何大量網站不能抓取?爬蟲突破封禁的6種常見方法

在互聯網上進行自動數據採集（抓取）這件事和互聯網存在的時間差不多一樣長。今天大衆好像更傾向於用「網絡數據採集」，有時會把網絡數據採集程序稱爲網絡機器人（bots）。最常用的方法是寫一個自動化程序向網絡服務器請求數據（通常是用 HTML 表單或其他網頁文件），然後對數據進行解析，提取需要的信息。   本文假定讀者已經瞭解如何用代碼來抓取一個遠程的 URL，並具備表單如何提交及 JavaScript

>>阅读原文<<