【Python實戰】這一次,他經過公衆號訪問最新的1024資訊信息,乾貨,有彩蛋

這次實戰項目清單:html

  • WeRoBot框架開發自動回覆微信機器人
  • Tornado開發後臺
  • MongoDB作數據存貯
  • Scrapyd部署爬蟲
  • Scrapy編寫爬蟲
  • 把這些都部署在阿里雲服務器上
  • 用Python編寫
    把這些東西混在一塊兒,就實現了,經過微信公衆號來獲取每日新鮮資訊的功能

廢話很少說,先上圖,看效果!前端


網頁醜,請原諒我,我不是專門寫前端的,前端知識我會往後補上的。爲何選擇電腦端訪問,由於手機上訪問可能仍是有些限制,可是電腦端訪問徹底沒有問題啊!這效果贊不讚?牛不牛? 程序員

這還不趕忙關注一波『皮克啪的鏟屎官』?我都乾貨作到這份上了,你們還不幫我推廣分享一下?讓更多的人來享受學習的樂趣。數據庫

開發思路

既然看到了效果,那麼咱們如今就來扯一扯實現這個過程的前因後果。服務器

首先,咱們白日作夢一下, 想着我怎麼可以經過微信公衆號來訪問網站啊?

這裏給出答案:咱們須要一個微信自動回覆的機器人,由於這樣,我就不須要天天本身登錄網頁端,複製黏貼編寫材料了,用電腦來代替個人勞動,這樣我多輕鬆。
這裏就是WeRoBot的使用場景。

接下來,咱們若是有了自動回覆機器人,那麼咱們拿什麼來看呢?

這裏給出答案:咱們須要在遠端架設一臺服務器,上面須要跑起來一套網站的服務。給咱們提供一個網頁,裏面有咱們想要的資訊信息。
這就是阿里雲服務器(騰訊的也能夠)和Tornado的使用場景。

接着,咱們還得研究,我網頁上的數據,從哪裏來啊??

這裏給我出答案:網頁端讀取的數據,都應該是從數據庫中讀的。
這裏就是MongoDB的使用場景。

知道數據從哪裏讀取的了,那麼數據是從哪裏來的啊?

這裏給出答案:數據是來源,咱們能夠經過爬蟲程序來爬下來。
這裏就是Scray的使用場景了。

想到這裏基本差很少了,中間在加一些粘合劑,咱們能夠經過Scrapyd來把爬蟲部署到遠端服務器上,再經過一個定時裝置來定時執行爬蟲程序。這樣咱們就會有源源不斷的數據更新了。而網頁端,咱們只須要展現當天的數據就能夠了。這麼下來,微信

一切都思路都很完美,就差一個程序員了,對嗎?

咱們選擇用Python來搞事情,由於這個東西,很適合搞事情。框架

咱們既然把整個邏輯都想好了,那麼咱們倒着來擼這件事情。學習

以前的幾篇文章:網站

【Python實戰】手把手超詳細教程教你Scrapy爬達蓋爾社區,有彩蛋
【Python實戰】用Scrapy編寫「1024網站種子吞噬爬蟲」,送福利
【Python實戰】用代碼來訪問1024網站,送福利
【Python實戰】用Scrapyd把Scrapy爬蟲一步一步部署到騰訊雲上阿里雲

我已經把怎樣寫爬蟲,以及怎樣把爬蟲部署到服務器上,都講的很細很細了,並且還有手把手的教程講解,可謂很是良心了。這裏我就略過了。

接下來,咱們用到了MongoDB,這個的安裝過程,我在上一篇文章中講的很清楚了:

【Python實戰】在阿里雲服務器上安裝MongoDB,並實現遠程可視化鏈接

若是有什麼不會的,能夠給我留言,我會幫你解答的。

那麼前面提到的這幾個東西,就剩下WeRoBot和Tornado了。這個我準備在下一期文章中詳細給你們講解怎麼開發。這裏面的坑其實還很多,可是,我已經給你們踩過了。你們跟着個人步驟一步一步來就徹底OK。

總體回顧

遠端的服務器上面的爬蟲,是Scrapy寫的蟲子。

經過Tornado的定時執行功能,會每個小時執行一次。

將爬下來的數據存入到MongoDB中。

Tornado的路徑對於的GET方法,會從MongoDB中讀取數據,並傳入到已經寫好的html模板中。

WeRoBot則是依靠Tornado部署的,嵌入到了Tornado服務中。經過微信傳過來的特定的指令,來作出返回結果並返回給客戶端。

上面的內容就介紹這麼多吧,但願你們可以喜歡。獨樂樂不如衆樂樂。若是你們喜歡鏟屎官的文章,但願你們可以告訴身邊更多的朋友,一塊兒加入,來體驗更多樂趣。

關注『皮克啪的鏟屎官』,回覆『Daily』,就會找到你心裏深處最想要的東西。

                     這麼硬貨的公衆號,大家還不趕忙關注一波啊?

                           

相關文章
相關標籤/搜索