用Python爬取了考研吧1000條帖子，原來他們都在討論這些！

寫在前面

考研在即，想多瞭解考研er的想法，就是去找學長學姐或者去網上搜索，貼吧就是一個好地方。而藉助強大的工具能夠快速從網絡魚龍混雜的信息中獲得有價值的信息。雖然網上有不少爬取百度貼吧的教程和例子，可是貼吧規則更新快，目的不同，爬取的內容也不同，因此就有了這個工具。

目的

爬取1000條帖子→判斷是不是廣告或者垃圾信息→分析語言情感→生成詞雲

1、分析

1.1 先查看貼吧的規則，果真有規律，每一頁是50條帖子

1.2 帖子內容，也有規律，都在這個標籤裏面

1.3 判斷內容就用百度AI的內容審覈，情感分析也用百度AI了，省事
1.4 詞雲能夠先用jieba分詞而後再用wordcloud生成，可是後來發現網上有現成的工具

2、爬取過程

2.1 首先解決的一個小問題就是讓它本身計算一下每頁是50條帖子，我輸入1000條它應該去爬取那幾個頁面，就用這種數學計算就行
2.2爬取過程代碼，爬取後就調用內容審覈以及情感分析，而後寫入文件

def gettbtz(tbname,tznum):  ####根據給出的貼吧和帖子數（50的整數倍）得到全部帖子
    n = -50
    tznum = int(tznum)  ###z這裏是要根據貼吧的規則，每頁顯示50條帖子
    emotions = 0
    while (tznum > n):
        n = n + 50
        print("正在爬取前" + str(n) + "條帖子")
        url = "http://tieba.baidu.com/f?kw=" + tbname + "&ie=utf-8&pn=" + str(n)
        soup = BeautifulSoup(requests.get(url).text,'lxml')  ###爬取動做
        a = soup.find_all('div',class_='threadlist_abs threadlist_abs_onlyline')
        for a in a:  ###接下來以此判斷文本是否合規，而後判斷情感正向傾向指數，而後寫入文件
            if BDAITEXT(a.text) == "合規":
                print("爬取到合規帖子,正在寫入文件：" + a.text)
                with open("resaults.txt","a+",encoding='utf-8') as f:
                    f.write(str(a.text))  ###寫入這裏特地轉換一下數據類型，避免後面發生文本編碼錯誤
                try:
                    emotions = emotions + BDAIemotion(a.text)
                    print("當前累計情感指數：" + str(emotions))
                except:
                    print("情感分析出錯，跳過")

            else:
                print("帖子不合規，跳過")
        time.sleep(10)  ###君子協議，10秒暫停
        f.close()

3、百度人工智能API調用

3.1 百度AK獲取，就是要先到百度AI開發平臺註冊一個開發者帳號，而後建立應用，獲取應用id和密鑰，而後獲得這樣一個調用的密鑰

# client_id 爲官網獲取的AK， client_secret 爲官網獲取的SK
host = 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=【應用ID】&client_secret=【SK】'
 response = requests.get(host)
 if response:
 print(response.json())

3.2 內容審覈API調用

def BDAITEXT(text):  ####百度AI文本審覈，返回合規或者不合規
    content = {"text": text}
    r = requests.post(BDAItexturl,content).text
    if r:
        rback = json.loads(r)
        return rback["conclusion"]

3.3 情感分析API調用

def BDAIemotion(text):  ####百度AI情感分析，返回一個數值
    content = {"text": text}
    content = json.dumps(content)
    r = requests.post(BDAIemotionurl,content).text
    if r:
        rback = json.loads(r)
        return rback['items'][0]['positive_prob']

4、詞雲生成

有不少在線工具，導入大段文本，而後根據須要進行文本的過濾、分詞，而後設置顏色、樣式就能夠生成詞雲。

5、信息分析

看詞雲，結果不言而喻，提前地準備、豐富的經驗、專業課、數學、政治、院校選擇…………
從情感上來看，大多數情感指數偏向積極，說明對待考研仍是須要一個積極的態度。

運行截圖

待改進

1.應該多線程，速度太慢了
2.爬取了帖子，沒有爬取評論
3.情感分析有不少出錯

「閒言碎語留給市井小民，你只管優雅從容心懷遠方」