碼農寫了個爬蟲，看到抓回來的文字笑了，網友：不封ip已很友好！

想必有部分程序員也寫過一些爬蟲程序吧，不論是java語言還是php語言還是python等，都可以輕鬆實現，用php一行代碼就可以抓取一個網頁，不過後續要處理的細節還是蠻多，各種去噪處理什麼的，另外還要注意的一點就是要遵循一定的規則，有的網站是不希望被抓取的，在網站的根目錄下會有一個robot.txt之類的文件，爬蟲要遵守這個規則，如果不遵守這個規則就算是比較流氓的做法了，近期一個程序員就給我們分享

>>阅读原文<<