《從零開始學Scrapy網絡爬蟲》之網絡爬蟲基礎（HTTP基本原理）1

近幾年，隨着人工智能呈現爆發式發展，網絡爬蟲也跟着火了起來，爲什麼？因爲人工智能離不開海量數據，沒有了數據，就沒有所謂的人工智能，而從互聯網中獲取數據是最直接、最經濟、最有效的方法。網絡爬蟲，就是用於從互聯網中，以自動化的形式，獲取海量數據。 網絡爬蟲實現的思想是模擬用戶使用瀏覽器向網站發送請求，網站響應請求後，將HTML文檔發送過來，爬蟲再對網頁做信息提取和存儲。因此，瞭解瀏覽器與網站服務器之間

>>阅读原文<<