python3 對拉勾數據進行可視化分析

　　上回說到咱們如何如何把拉勾的數據抓取下來的，既然獲取了數據，就別放着不動，把它拿出來分析一下，看看這些數據裏面都包含了什麼信息。（本次博客源碼地址：https://github.com/MaxLyu/Lagou_Analyze）

1、前期準備

　　因爲上次抓的數據裏面包含有 ID 這樣的信息，咱們須要將它去掉，而且查看描述性統計，確認是否存在異常值或者缺失值。

read_file = "analyst.csv"
# 讀取文件得到數據
data = pd.read_csv(read_file, encoding="gbk")
# 去除數據中無關的列
data = data[:].drop(['ID'], axis=1)
# 描述性統計
data.describe()

             　　　　　　　　　　

　　結果中的 unique 表示的是在該屬性列下面存在的不一樣值個數，以學歷要求爲例子，它包含【本科、大專、碩士、不限】這4個不一樣的值，top 則表示數量最多的值爲【本科】，freq 表示出現的頻率爲 387。因爲薪資的 unique 比較多，咱們查看一下存在什麼值。

print(data['學歷要求'].unique())
print(data['工做經驗'].unique())
print(data['薪資'].unique())

                 

2、預處理

　　從上述兩張圖能夠看到，學歷要求和工做經驗的值比較少且沒有缺失值與異常值，能夠直接進行分析；但薪資的分佈比較多，總計有75種，爲了更好地進行分析，咱們要對薪資作一個預處理。根據其分佈狀況，能夠將它分紅【5k 如下、5k-10k、10k-20k、20k-30k、30k-40k、40k 以上】，爲了更加方便咱們分析，取每一個薪資範圍的中位數，並劃分到咱們指定的範圍內。

# 對薪資進行預處理
def pre_salary(data):
    salarys = data['薪資'].values
    salary_dic = {}
    for salary in salarys:
        # 根據'-'進行分割並去掉'k',分別將兩端的值轉換成整數
        min_sa = int(salary.split('-')[0][:-1])
        max_sa = int(salary.split('-')[1][:-1])
        # 求中位數
        median_sa = (min_sa + max_sa) / 2
        # 判斷其值並劃分到指定範圍
        if median_sa < 5:
            salary_dic[u'5k如下'] = salary_dic.get(u'5k如下', 0) + 1
        elif median_sa >= 5 and median_sa < 10:
            salary_dic[u'5k-10k'] = salary_dic.get(u'5k-10k', 0) + 1
        elif median_sa >= 10 and median_sa < 20:
            salary_dic[u'10k-20k'] = salary_dic.get(u'10k-20k', 0) + 1
        elif median_sa >= 20 and median_sa < 30:
            salary_dic[u'20k-30k'] = salary_dic.get(u'20k-30k', 0) + 1
        elif median_sa >= 30 and median_sa < 40:
            salary_dic[u'30k-40k'] = salary_dic.get(u'30k-40k', 0) + 1
        else:
            salary_dic[u'40以上'] = salary_dic.get(u'40以上', 0) + 1
    print(salary_dic)
    return salary_dic

　　對【薪資】進行預處理以後，還要對【任職要求】的文本進行預處理。由於要作成詞雲圖，須要對文本進行分割並去除掉一些出現頻率較多但沒有意義的詞，咱們稱之爲停用詞，因此咱們用 jieba 庫進行處理。jieba 是一個python實現的分詞庫，對中文有着很強大的分詞能力。

import jieba
def cut_text(text):
    stopwords =['熟悉','技術','職位','相關','工做','開發','使用','能力',
                '優先','描述','任職','經驗','經驗者','具備','具有','以上','善於',
                '一種','以及','必定','進行','可以','咱們']
    for stopword in stopwords:
        jieba.del_word(stopword)
    
    words = jieba.lcut(text)
    content = " ".join(words)
    return content

　　預處理完成以後，就能夠進行可視化分析了。

3、可視化分析

　　咱們先繪製環狀圖和柱狀圖，而後將數據傳進去就好了，環狀圖的代碼以下：

def draw_pie(dic):
    labels = []
    count = []
    
    for key, value in dic.items():
        labels.append(key)
        count.append(value)
        
    fig, ax = plt.subplots(figsize=(8, 6), subplot_kw=dict(aspect="equal"))

    # 繪製餅狀圖，wedgeprops 表示每一個扇形的寬度
    wedges, texts = ax.pie(count, wedgeprops=dict(width=0.5), startangle=0)
    # 文本框設置
    bbox_props = dict(boxstyle="square,pad=0.9", fc="w", ec="k", lw=0)
    # 線與箭頭設置
    kw = dict(xycoords='data', textcoords='data', arrowprops=dict(arrowstyle="-"),
              bbox=bbox_props, zorder=0, va="center")

    for i, p in enumerate(wedges):
        ang = (p.theta2 - p.theta1)/2. + p.theta1
        y = np.sin(np.deg2rad(ang))
        x = np.cos(np.deg2rad(ang))
        # 設置文本框在扇形的哪一側
        horizontalalignment = {-1: "right", 1: "left"}[int(np.sign(x))]
        # 用於設置箭頭的彎曲程度
        connectionstyle = "angle,angleA=0,angleB={}".format(ang)
        kw["arrowprops"].update({"connectionstyle": connectionstyle})
        # annotate()用於對已繪製的圖形作標註，text是註釋文本，含 'xy' 的參數跟座標點有關
        text = labels[i] + ": " + str('%.2f' %((count[i])/sum(count)*100)) + "%"
        ax.annotate(text, size=13, xy=(x, y), xytext=(1.35*np.sign(x), 1.4*y),
                     horizontalalignment=horizontalalignment, **kw)
    plt.show()

　　柱狀圖的代碼以下：

def draw_workYear(data):
    workyears = list(data[u'工做經驗'].values)
    wy_dic = {}
    labels = []
    count = []
    # 獲得工做經驗對應的數目並保存到count中
    for workyear in workyears:
        wy_dic[workyear] = wy_dic.get(workyear, 0) + 1
    print(wy_dic)
    # wy_series = pd.Series(wy_dic)
    # 分別獲得 count 的 key 和 value
    for key, value in wy_dic.items():
        labels.append(key)
        count.append(value)
    # 生成 keys 個數的數組
    x = np.arange(len(labels)) + 1
    # 將 values 轉換成數組
    y = np.array(count)
    
    fig, axes = plt.subplots(figsize=(10, 8))
    axes.bar(x, y, color="#1195d0")
    plt.xticks(x, labels, size=13, rotation=0)
    plt.xlabel(u'工做經驗', fontsize=15)
    plt.ylabel(u'數量', fontsize=15)
    
    # 根據座標將數字標在圖中，ha、va 爲對齊方式
    for a, b in zip(x, y):
        plt.text(a, b+1, '%.0f' % b, ha='center', va='bottom', fontsize=12)
    plt.show()

　　咱們再把學歷要求和薪資的數據稍微處理一下變成字典形式，傳進繪製好的環狀圖函數就好了。另外，咱們還要對【任職要求】的文本進行可視化。

from wordcloud import WordCloud
# 繪製詞雲圖
def draw_wordcloud(content):
    
    wc = WordCloud(
        font_path = 'c:\\Windows\Fonts\msyh.ttf',
        background_color = 'white',
        max_font_size=150,  # 字體最大值
        min_font_size=24,  # 字體最小值
        random_state=800, # 隨機數
        collocations=False, # 避免重複單詞
        width=1600,height=1200,margin=35, # 圖像寬高，字間距
    )
    wc.generate(content)

    plt.figure(dpi=160) # 放大或縮小
    plt.imshow(wc, interpolation='catrom',vmax=1000)
    plt.axis("off") # 隱藏座標

4、成果與總結

　　　　　　　　

　　python數據分析師的學歷大部分要求是本科，佔了86%。

　　　　　　　　

　　從柱狀圖能夠看出，python數據分析師的工做經驗絕大部分要求1-5年。

　　　　　　　

 

　　由此能夠得出python數據分析的工資爲10k-30k的比較多,工資高的估計要求會比較高，因此咱們看一下職位要求。

　　　　　　

　　從詞雲圖可看出，數據分析確定要對數據比較敏感，而且對統計學、excel、python、數據挖掘、hadoop等也有必定的要求。不只如此，還要求具備必定的抗壓能力、解決問題的能力、良好的表達能力、思惟能力等。