Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

取得固定頁面內容
用Google Chrom打開須要的頁面,好比
http://news.sina.com.cn/c/nd/2017-05-08/doc-ifyeycfp9368908.shtml
網頁空白處右擊「檢查」,選「Network」, 選「Doc」,在「Response」中能夠找到正文標題,好比「國土部:5月到9月實行汛期地質災害日報告制度」
Python抓取新浪新聞數據(一)html

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)

Python抓取新浪新聞數據(一)
而後選「Headers」
Python抓取新浪新聞數據(一)
肯定http://news.sina.com.cn/c/nd/2018-06-06/doc-ihcqccip0158262.shtml是咱們須要的網頁
打開網頁 http://news.sina.com.cn/c/nd/2018-06-06/doc-ihcqccip0158262.shtml
而後,選最左邊的 Select an element in the page to inspect in. 而後,選Elements,再點選網頁標題,能夠看到Elements中的內容自動跳到了 <h1 class="main-title">這三家芯片巨頭突遭反壟斷調查 中國亮劍了</h1>
Python抓取新浪新聞數據(一)
Python抓取新浪新聞數據(一)
來源與時間
打開網頁http://news.sina.com.cn/c/nd/2017-05-08/doc-ifyeycfp9368908.shtml
同以上例方法,點選右上角時間,在elements中找到time-source
Python抓取新浪新聞數據(一)
Python抓取新浪新聞數據(一)
接下來咱們須要想辦法將時間和來源分開來,這時須要使用到contents; 咱們先在後面加上.contents,運行下後會看到上面的內容會在列表中分爲以下2個元素
Python抓取新浪新聞數據(一)
Python抓取新浪新聞數據(一)
Python抓取新浪新聞數據(一)
Python抓取新浪新聞數據(一)
Python抓取新浪新聞數據(一)ide

相關文章
相關標籤/搜索