利用Python爬取妙筆閣小說網站的小說信息並保存爲txt和csv格式

本次爬取的是妙筆閣小說網仙俠系列中全部小說的信息，打開網頁會看到以下圖所示的小說列表。 根據列表，選擇爬取小說的書名、做者、最新更新、簡介這四項信息。 在爬取以前，爲了防止網站禁止爬取，需構造訪問的請求頭，模擬瀏覽器訪問該網站。那麼如何構建請求頭，須要找到訪問網站時的代理：html 在想要爬取的頁面按F12，而後點擊NetWork,按F5刷新，隨便點擊進去一個便可，而後找到User-Agent p

>>阅读原文<<