靜態網頁抓取，動態網頁抓取，模擬登陸的注意事項和心得

最近更新：2013-07-03 背景 之前，對於折騰，靜態或動態的網頁抓取，模擬登陸，也算有些時日了。 在此期間，遇到很多問題，也都基本上靠自己慢慢的解決了。 此處，把其中相對常見和通用的問題或者是注意事項， 再加上一些心得，在此整理出來，供參考： 網頁抓取和模擬登陸的注意事項和心得 如果不加User-Agent，則有些網址的訪問，會被禁止的 此點，之前別的很多人已總結過了。 此處，還是再囉嗦一遍

>>阅读原文<<