用react-native開發一個IOS NBA資訊app(二) ----server探究,爬蟲獲取新聞數據(持續更新)

上一章節咱們建立了基本項目的構架。接下來開始,咱們就會真正進入項目中去,去一個個一探究竟。那好的,第一個咱們要深刻的即是整個app項目的後臺,也就是第一章我介紹的server文件夾。由於平時項目中使用最多的是nodejs,因此我搭建後臺也是用nodejs來進行的。而nodejs最簡單的搭建就是使用express。好的,咱們來看一看咱們的package.json依賴模塊。
圖片描述前端

用了幾個很是簡單可是實用性強的模塊。node

(1)body-paser解析post請求中上傳參數。
(2)cheerio是一個專門用於解析請求來網頁dom數據的。
(3)express是在nodejs的基礎上封裝了一層,而後可以更便捷的搭建服務層。
(4)給爬蟲提供可抓取的頁面,request模塊能夠完成更多http請求。

接下來咱們看一下咱們的項目構建:
圖片描述
運用了restful的接口模式,而後我用apis來放置我app請求的接口。因此大量的邏輯處理都是在這裏面。好了,瞭解了基礎的後臺項目架構,那讓咱們看一下我是如何爬取虎撲新聞的數據的。
圖片描述
你們能夠看一下,這是我經過虎撲的手機網頁爬取到當前新聞的id,標題,圖片,建立時間以及來自哪一個新聞發佈消息。
最重要的就是request以及cheerio的雙重使用。request來load要爬取的頁面,而cheerio就解析出其中你須要的數據。而cheerio很是爽的地方在於,你能夠在服務器層使用和jquery相同的語法來操做dom,這樣我以爲比python的beatuifulsuop解析起來對前端程序員更友好。
好了,這就是server的構建,接下來,咱們就開始app之旅吧。若是仍是不太清楚,能夠參考個人項目。
項目地址:https://github.com/strongwray...python

相關文章
相關標籤/搜索