3天破9億！上萬條評論解讀《西虹市首富》是否值得一看

做者介紹：徐麟，目前就任於上海惟品會產品技術中心，哥大統計數據狗，從事數據挖掘&分析工做，喜歡用R&Python玩一些不同的數據.

我的公衆號：數據森麟（ID:shujusenlin）,知乎同名專欄做者。

前言：

縱觀近幾年的國產電影市場，「開心麻花「彷佛已經成爲了票房的保證。從《夏洛特煩惱》、《羞羞的鐵拳》到最新上映的《西虹市首富》都引爆了票房。本期咱們會根據從貓眼電影網爬取到的上萬條評論爲你解讀《西虹市首富》是否值得一看

數據爬取

這次數據爬取咱們參考了以前其餘文章中對於貓眼數據的爬取方法，調用其接口，每次取出部分數據並進行去重，最終獲得上萬條評論，代碼以下：

tomato = pd.DataFrame(columns=['date','score','city','comment','nick'])

for i in range(0, 1000):
    j = random.randint(1,1000)
    print(str(i)+' '+str(j))

    try:
        time.sleep(2) 
        url= 'http://m.maoyan.com/mmdb/comments/movie/1212592.json?_v_=yes&offset=' + str(j)
        html = requests.get(url=url).content
        data = json.loads(html.decode('utf-8'))['cmts']

        for item in data:

            tomato = tomato.append({'date':item['time'].split(' ')[0],'city':item['cityName'], 'score':item['score'],'comment':item['content'], 'nick':item['nick']},ignore_index=True)

        tomato.to_csv('西虹市首富4.csv',index=False)                           

   except:
        continue

數據分析

咱們看一下所獲得的數據：

數據中咱們能夠獲得用戶的暱稱，方便後面進行去重。後面的部分主要圍繞評分、城市、評論展開。

首先看一下，評論分佈熱力圖：

京津翼、江浙滬、珠三角等在各類榜單長期霸榜單的區域，在熱力圖中，依然佔據着重要地位。同時，咱們看到東三省和四川、重慶所在區域也有着十分高的熱度，這也與沈騰自身東北人&四川女婿的身份不謀而合（以上純屬巧合，切勿較真）。

下面咱們要看的是主要城市的評論數量與打分狀況：

打出最高分4.77分的正是沈騰家鄉的省會城市哈爾濱（沈騰出生於黑龍江齊齊哈爾），看來沈騰在黑龍江仍是被廣大父老鄉親所承認的。最低分和次低分來自於合肥和鄭州，從此的開心麻花能夠考慮引入增強在中部地區的宣傳。

咱們按照打分從高到底對城市進行排序：

在評論數量最多的二十個城市中，評分前七名的城市中東北獨佔四席，而分數相對較低的城市中武漢、合肥、鄭州都屬於中部地區，可見不一樣地區的觀衆對影評的承認程度有着必定差別。

咱們把城市打分狀況投射到地圖中：（紅色表示打分較高，藍色表示較低）

進一步，咱們把城市劃分爲評分較高和較低兩部分

較高區域：

較低區域：

能夠看到對於「西紅柿」，南北方觀衆的評價存在必定差別，這與每一年春晚各個地區收視率彷佛有一些吻合知乎。沈騰自己也是春晚的常客，電影中天然會帶一些「春晚小品味」，這彷佛能夠必定程度上解釋咱們獲得的結果。

看過了評分，咱們看一下評論生成的詞雲圖，如下分別是原圖和據此繪製的詞雲圖：

不知道你們的想法如何，至少在我看到了這樣的詞雲，搞笑、笑點、值得、開心、不錯，甚至是哈哈都會激起我強烈的看片慾望。同時，沈騰也被你們反覆提起屢次，能夠預見其在片中有着很是不錯的表演，也會必定程度上激發你們看片的慾望。

部分代碼展現

熱力圖：

tomato_com = pd.read_excel('西虹市首富.xlsx')
grouped=tomato_com.groupby(['city'])
grouped_pct=grouped['score'] #tip_pct列
city_com = grouped_pct.agg(['mean','count'])
city_com.reset_index(inplace=True)
city_com['mean'] = round(city_com['mean'],2)

data=[(city_com['city'][i],city_com['count'][i]) for i in range(0, city_com.shape[0])]

geo = Geo('《西虹市首富》全國熱力圖', title_color="#fff", title_pos="center", width=1200, height=600, background_color='#404a59')

attr, value = geo.cast(data)

geo.add("", attr, value, type="heatmap", visual_range=[0, 200],visual_text_color="#fff", symbol_size=10, is_visualmap=True,is_roam=False)

geo.render('西虹市首富全國熱力圖.html')

折線圖+柱形圖組合：

city_main = city_com.sort_values('count',ascending=False)[0:20]

attr = city_main['city']

v1=city_main['count']

v2=city_main['mean']

line = Line("主要城市評分")

line.add("城市", attr, v2, is_stack=True,xaxis_rotate=30,yaxis_min=4.2, mark_point=['min','max'],xaxis_interval =0,line_color='lightblue', line_width=4,mark_point_textcolor='black',mark_point_color='lightblue', is_splitline_show=False)  

bar = Bar("主要城市評論數")

bar.add("城市", attr, v1, is_stack=True,xaxis_rotate=30,yaxis_min=4.2, xaxis_interval =0,is_splitline_show=False)

overlap = Overlap()

# 默認不新增 x y 軸，而且 x y 軸的索引都爲 0
overlap.add(bar)

overlap.add(line, yaxis_index=1, is_add_yaxis=True)

overlap.render('主要城市評論數_平均分.html')

詞雲：

tomato_str =  ' '.join(tomato_com['comment'])

words_list = []

word_generator = jieba.cut_for_search(tomato_str) 

for word in word_generator:
    words_list.append(word)

words_list = [k for k in words_list if len(k)>1]

back_color = imread('西紅柿.jpg')  # 解析該圖片

wc = WordCloud(background_color='white',  # 背景顏色
               max_words=200,  # 最大詞數
               mask=back_color,  # 以該參數值做圖繪製詞雲，這個參數不爲空時，width和height會被忽略
               max_font_size=300,  # 顯示字體的最大值
               font_path="C:/Windows/Fonts/STFANGSO.ttf", 
               random_state=42,  # 爲每一個詞返回一個PIL顏色
               # width=1000,  # 圖片的寬
               # height=860  #圖片的長
               )

tomato_count = Counter(words_list)

wc.generate_from_frequencies(tomato_count)

# 基於彩色圖像生成相應彩色

image_colors = ImageColorGenerator(back_color)

# 繪製詞雲

plt.figure()

plt.imshow(wc.recolor(color_func=image_colors))

plt.axis('off')

票房預估

最後咱們來大膽預估下《西虹市首富》的票房，咱們平常在工做中會選取標杆來對一些即將發生的事情進行預估。此次咱們選擇的標杆就是《羞羞的鐵拳》：

基於如下幾點咱們選擇《羞羞的鐵拳》做爲標杆：

• 均是開心麻花出品、題材類似
• 演員陣容重合度高
• 豆瓣粉絲承認程度類似（評分均爲6.9，處於喜劇片中位數水平）
• 貓眼粉絲承認程度類似（鐵拳評分9.1,西紅柿評分9.3）

咱們看一下兩部影片前三天的走勢：

前三天兩部片子的票房走勢十分類似，基於以前咱們的平均，咱們能夠嘗試性（比隨機準一點）預測一下「西紅柿」最終的票房。「西紅柿」票房預測值≈「鐵拳」總票房/「鐵拳」前三天票房「西紅柿」前三天票房=22.13/5.258.62≈36，考慮到鐵拳上映是在國慶假期，西紅柿的票房預估須要相應的下調。

綜上所述，咱們給出30億票房的預估。你們來和咱們一塊兒見證本公衆號「章魚保羅」般神奇的預測的or「球王貝利」般被啪啪打臉的預測。
歡迎各位在留言區留言你是否定同本公衆號這次嚴謹（suixing）的預測。

數據集的獲取地址爲：
https://github.com/shujusenlin/tomato_film/blob/master/西虹市首富.xlsx