大規模批量採集微信公衆號文章(支持微信公衆號最大規模抓取 包括閱讀數 好看數和評論數)

大規模批量採集微信公衆號文章

記錄一下今天的成果，確實能夠抓取到，配置完成以後1分鐘能夠抓取100+（後來優化了一下，能夠達到300左右）片吧，我沒有用多進程，若是是多進程的話，效率會翻倍的增長。

抓取思路

　　網上的方法大約有四種(其實有5種方式 仍是一種 不方便寫出，太暴力)

　　第一：經過搜狗微信  搜索入口 ，模擬搜索抓取，效率比較低，可是加了代理能夠天天抓幾百萬。

　　第二：經過抓包工具截取htts請求的數據包，意思就是使用pc端微信登陸，監聽公衆號的推送消息，每當監聽到推送以後就把數據獲取下來，缺點是沒法獲取之前的歷史記錄

　　第三：經過微信公衆號的後臺獲取cookie和token來抓取；缺點是須要註冊一個公衆號，並且token有過時時間

　　第四：萬能key或者公衆號key抓取 ，key有效時間爲兩個小時，每一個微信號一天最多能夠抓取1200次，優點只要解決key的自動獲取就很是方便自動。

以上幾種是網友提供的思路，均可以實現，但同時也都有缺點。

如下是我用第三種方法實現的；

使用php,node.js均可以抓取；

　　1.註冊微信公衆，登陸以後選擇新建素材，而後點擊超連接，搜索任意公衆號，保存該公衆號的fakeid，同時保存cookie和token，

　　2.在https請求中 設置header的cookie爲第1步保存的cookie，參數是token，發送https請求，你會驚奇的發現已經拿下某公衆號的歷史記錄 （默認40條）；

　　3.而後根據列表裏面的內容連接地址，再獲取具體的網頁內容；

　　4.把獲取的內容存到本地的數據庫中

總結：以上思路僅供參考，具體實現須要靠本身；

提示：源碼收費，還請諒解；

------------------------------------------------------------------------------

鑑於有人諮詢了一下抓取程序價格，我在這裏聲明一下：

抓取的功能沒有你想的那麼智能

1.須要指定公衆號（能夠指定多個，沒有上限）

2.須要設置token以及對應的cookie參數；

3.抓取速度，大約一分鐘能夠抓取300片左右（視網絡，內容多少而定）

看到這裏，你尚未放棄，那麼看來你是真相要了。

能夠一次性需求

能夠購買源碼，由於源碼是我本身開發方便我本身閱讀用的，通常要買源碼的都須要作一些修改和開發，視狀況而定

如需詳細聯繫 請加 QV,qq 85437898  另外咱們支持全網抓取和大規模抓取 包括閱讀數 好看數和評論數