爬蟲與反爬蟲的攻防博弈

遙想當年，我的第一份實習工作，還就是做的爬蟲呢。不知不覺 7 年過去了，如今首例利用爬蟲技術非法盜抓數據案都已經被判違法了。 我記得我第一份實習工作，就是做的爬蟲，利用爬蟲技術，去爬取各種論壇和網站，然後要做到記錄到每個論壇帖子的發帖時間，在論壇的板塊，頁數，發帖時間，發帖 ID ，然後存儲起來，可以做到搜索關鍵字快速定位到哪個論壇的那一頁，哪個帖子。而且這個爬蟲技術基本上要做到可以適配幾乎所有，

>>阅读原文<<