我用python爬取了知乎Top沙雕問題排行榜

前言

本文的文字及圖片來源於網絡,僅供學習、交流使用,不具備任何商業用途,版權歸原做者全部,若有問題請及時聯繫咱們以做處理。

做者： 數據森麟

PS：若有須要Python學習資料的小夥伴能夠加點擊下方連接自行獲取

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef

這兩天偶然上網的時候，被知乎上一個名爲「玉皇大帝住在平流層仍是對流層」的問題吸引，本覺得只是小打小鬧，卻不知這個問題卻在知乎上引起了強烈共鳴，瀏覽次數500W+，7000+關注：

數據來源

知乎很是「貼心」地專門有一個問題能夠知足咱們的需求，出人意料的是這個問題竟然有243個回答，而且陶飛同窗得到了3W+的贊同

咱們從中爬取了全部回答中出現的問題連接，共用400多個問題，其中陶飛就提供了200+，在此向陶飛同窗表示感謝，幫助咱們構建了「沙雕數據庫」，這部分代碼以下：

 1 import re
 2 import selenium
 3 from selenium import webdriver
 4 import requests
 5 from bs4 import BeautifulSoup
 6 import pandas as pd
 7 import time
 8 ​
 9 driver = webdriver.Chrome()
10 driver.maximize_window()
11 ​
12 url = 'https://www.zhihu.com/question/37453271'
13 js='window.open("'+url+'")'
14 driver.execute_script(js)
15 driver.close()
16 driver.switch_to_window(driver.window_handles[0])
17 for i in range(100):
18      js="var q=document.documentElement.scrollTop=10000000"  
19      driver.execute_script(js)
20 ​
21 all_html = [k.get_property('innerHTML') for k in driver.find_elements_by_class_name('AnswerItem')]
22 all_text = ''.join(all_html)
23 ​
24 #all_text = all_text.replace('\u002F','/')
25 all_text = all_text.replace('questions','question')
26 pat = 'question/\d+'
27 questions = list(set([k for k in re.findall(pat,all_text)]))

 

得到到了問題的對應的編號後，就能夠去各自的頁面獲取各個問題對應的的標題、瀏覽數等信息，以下圖所示：

這部分代碼以下：

 1 header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0',
 2 'Connection': 'keep-alive'}
 3 cookies ='v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18'
 4 cookie = {}
 5 for line in cookies.split(';'):
 6     name, value = cookies.strip().split('=', 1)
 7     cookie[name] = value
 8 ​
 9 questions_df = pd.DataFrame(columns = ['title','visit','follower','answer','is_open'])
10 ​
11 for i in range(len(questions)):
12     try:
13         url = 'https://www.zhihu.com/'+questions[i]
14         html = requests.get(url,cookies=cookie, headers=header).content
15         bsObj = BeautifulSoup(html.decode('utf-8'),"html.parser")
16         text = str(bsObj)
17         title = bsObj.find('h1',attrs={'class':'QuestionHeader-title'}).text
18         visit = int(re.findall('"visitCount":\d+',text)[0].replace('"visitCount":',''))
19         follower = int(re.findall('"followerCount":\d+',text)[0].replace('"followerCount":',''))
20         answer = int(re.findall('"answerCount":\d+',text)[0].replace('"answerCount":',''))
21         is_open = int(len(re.findall('問題已關閉',text))==0)
22         questions_df = questions_df.append({'title':title,'visit':visit,
23                                             'follower':follower,'answer':answer,
24                                             'is_open':is_open},ignore_index=True)
25         time.sleep(2)
26         print(i)
27     except:
28         print('錯誤'+str(i))

 

數據分析

在分享出最終的「沙雕排行榜」前，咱們首先嚴肅認真（lixinggongshi）的進行一波分析，主要看一下問題中的關鍵詞，首先是全部詞雲的詞雲：

看來這些問題大可能是源自於你們對於人生的探索，不然「爲何」，「若是」，「怎麼辦」也不會出現那麼多，出人意料的是「體驗」這個知乎專屬tag竟然並很少，多是出於對知乎的尊重，和「體驗」相關的問題都不會問得那麼「沙雕」。

下面把這些助詞去掉，再來看下結果：

這個圖看來，讀者關注的問題仍是很極端，一方面在關注男女友「你冷酷、你無情、你無理取鬧」這種問題，另外一方面卻在關注宇宙、地球這種關乎全人類的問題，很符合知乎「人均985，各個過百萬」的人設。

這兩個圖實際上都是基於一個表情，不知道有沒有看出來：

好吧，其實看不出來纔是正常，能看出來的可能如今去知乎提個問題，下期就會上榜，最後把部分問題作出詞雲：

不知道你們能不能看清，說實話我本身是看不清的，也沒準備讓你們看清，目的就是引出下面真正的排行榜

沙雕問題排行榜

經過綜合問題觀看數，關注數，回答數，關注佔比，回答佔比，綜合獲得分數的流量指數和新奇指數，最終得到一個總體的分數，以下圖所示：

聽起來是否是很複雜，實際上最終仍是經過90%10%的數據+10%90%的主觀來進行了排名，爲你們精選了15個最爲「沙雕」的問題，