很是適合新手的一個Python爬蟲項目: 打造一個英文詞彙量測試腳本!

最近朋友在苦學英文，可是又不知道本身學的怎麼樣了，直到有一天，他找到了扇貝網，裏面有個「評估你的單詞量」功能很是的好，就推薦給我了！

 

今天咱們就用python作一個小的爬蟲，而後本身寫一個腳原本實現這個功能吧！

目標：打造一個英文詞彙量測試腳本

url：扇貝網

工具：python3.六、pycharm、requests庫

思路：

和網頁同樣，總共分三步:

 

先來看看網頁中數據，用F12開發者工具抓包就能夠

爲了更好的演示，這裏網頁縮小了。

 

點擊開始，在來看看出現了什麼

 

這裏咱們抓到了一個包，這個json數據中包含了全部的類別或者說是級別，一共十大類，咱們點擊」響應」驗證下

 能夠看到，顯示內容在咱們抓到的json數據中，可是0和1中的內容有的同樣，有的不同是什麼鬼？不要急，咱們先選擇‘高考’，在抓下包看看

 選擇高考後，網頁直接給出了第二步，50個單詞選擇，注意，先看下抓到的json數據的真實地址

 還記得咱們在第一步抓到的包嗎？0裏面就是這個真實地址最後的category的值，1裏面是對應的顯示在網頁中的內容，好了，第二步的真實url也被咱們找到規律了，那下來就是分析單詞了，看看有什麼規律，咱們點開一個看看

 有幾個值很是重要，也是咱們的目標：

Content的值是顯示的單詞

Definition_choices是須要咱們判斷的多個詞義，中間包含有正確的詞義，每一個詞義中的rank值應該是該詞義的標識

rank值是正確的詞義，也由此判斷上述多個詞義中的正確詞義

ok，到這裏咱們就能夠開始寫代碼了，具體過程就不一一說明了，沒有反爬，所有是json數據的讀取和判斷，先放上個人代碼和運行效果

 python學習交流羣542110741

請你們忽略我那渣渣的英語水平和排版

 

因爲這個網站很是簡單，僅僅抓包就能夠獲得全部數據，沒有任何反爬，因此，也是咱們新手練手的好地方，你們均可以試試,若是有做出更漂亮的腳本，歡迎你們在評論區一塊兒分享！