爬蟲學習筆記

爬蟲學習筆記 一、介紹 1、概念 2、爬蟲的內容 3、通行證Robots.txt 4、類別 5、限制 6、常用爬蟲方案 以下總結參考公衆號：狗熊會 一、介紹 1、概念 2、爬蟲的內容 （1）爬到的數據可能是： 表格 文本 圖片+文本（二手車信息、京東網商品信息） （2）哪些不可以被爬： （3）eg:搜索引擎（baidu、google、bing） 百度是一個爬蟲 百度爬不到新浪微博內部的新聞，也爬不

>>阅读原文<<