反爬蟲，到底是怎麼回事兒？

有位被爬蟲摧殘的讀者留言問：「網站經常被外面的爬蟲程序騷擾怎麼辦，有什麼方法可以阻止爬蟲嗎？ 」 這是個好問題，自從 Python 火了起來，編寫爬蟲程序的門口越來越低，爬取別人網站數據也越來越猖獗。 阻止爬蟲也就是我們這次要說的「反爬蟲」，「反爬蟲」涉及到的技術比較綜合，說簡單也簡單，說複雜也複雜，看具體要做到哪種保護程度了。 下面我們說說常見的「反爬蟲」技術。 一、前置知識 1. 動態網頁和網

>>阅读原文<<