python 爬蟲知識點 (http 基礎）

1   dns     可以把網址解析成ip地址； 2   robots.txt     爬蟲權限：規定爬蟲可以爬取的內容，但是並不是懂遵守的，大型搜索引擎公司都是遵守的 3 HTTP和HTTPS HTTP協議（HyperText Transfer Protocol，超文本傳輸協議）：是一種發佈和接收 HTML頁面的方法。 HTTPS（Hypertext Transfer Protocol ove

>>阅读原文<<