使用Python爬取多篇各類新聞文章

一、簡介 這篇文章主要是使用python中的requests和BeautifulSoup庫來爬取上萬篇的新聞文章。我這裏以科技類新聞爲例來爬取2000篇新聞文章http://news.chinairn.com/News/moref9fff1.html 二、爬取網頁源代碼 在python中爬取網頁源代碼的庫主要有urllib、requests，其中requests使用得比較多，另外說明下urllib

>>阅读原文<<