讀書筆記（3）——利用selenium爬取QQ空間的留言板

利用selenium爬取QQ空間的留言板，方法不怎麼樣，練練手。直接上代碼：

#-*- coding-8 -*-
from bs4 import BeautifulSoup
from selenium import webdriver
import time

#使用selenium
driver = webdriver.PhantomJS(executable_path=r"F:\經常使用軟件\python\phantomjs-2.1.1-windows\bin\phantomjs.exe")
driver.maximize_window()
#登陸QQ空間
def get_liuyanban(qq):
    import time
    driver.get('http://user.qzone.qq.com/{}/334'.format(qq))
    print(qq+'的空間留言板')
    time.sleep(5)
    try:
        driver.find_element_by_id('login_div')
        a = True
    except:
        a = False
    
    if a == True:
        driver.switch_to.frame('login_frame')
        driver.find_element_by_id('switcher_plogin').click()
        driver.find_element_by_id('u').clear()#選擇用戶名框
        driver.find_element_by_id('u').send_keys('訪問者的QQ號')
        driver.find_element_by_id('p').clear()
        driver.find_element_by_id('p').send_keys('訪問者的密碼')
        driver.find_element_by_id('login_button').click()
        time.sleep(3)
    driver.implicitly_wait(3)

    try:
        driver.find_element_by_id(r'QM_OwnerInfo_Icon')
        b = True
        print('能夠訪問')
    except:
        b = False
        print('沒有訪問權限或者網絡錯誤，請重試')
        
    if b == True:
        print('開始加載')
        driver.switch_to.frame('app_canvas_frame')
        
        num = driver.find_element_by_id('cnt')
        #總留言數
        x = int(num.text)
        y = x // 10
        #print(y),獲得總頁數，就能夠根據這個能夠爬取全部留言
        #獲得留言者，留言時間，留言內容
        for i in range(5):#這邊暫時就爬取五頁，隨意修改
            names = driver.find_elements_by_css_selector('.c_tx.q_namecard')
            times = driver.find_elements_by_css_selector('.c_tx3.mode_post')
            ments = driver.find_elements_by_class_name('cont')
            print('第%s頁留言'%(i+1))
            for name,stime,ment in zip(names,times,ments):
                data = {
                        '留言人':name.text,
                        '留言時間':stime.text,
                        '留言內容':ment.text
                        }
                print(data)
            page_down = driver.find_element_by_xpath(r".//*[@id='pager_bottom']/div/p[1]/a[2]")
            page_down.click()#翻頁操做
            time.sleep(3)
            driver.implicitly_wait(3)
           
        
        
        print('OK')
    print("==========完成================")

    driver.close()
    driver.quit()
    

if __name__ == '__main__':
    get_liuyanban('想要訪問的人的QQ號')

分開說一下代碼：

第一行註釋是爲了告訴Python解釋器，按照UTF-8編碼讀取源代碼，不然，你在源代碼中寫的中文輸出可能會有亂碼。

#-*- coding-8 -*-

而後導入三個模塊，初始化瀏覽器PhantomJS:

from bs4 import BeautifulSoup
from selenium import webdriver
import time

#使用selenium
driver = webdriver.PhantomJS(executable_path=r"F:\經常使用軟件\python\phantomjs-2.1.1-windows\bin\phantomjs.exe")
driver.maximize_window()

定義函數，訪問網頁，這邊有一個小問題，就是若是不在函數內import time的話，那麼就會報錯，說time不是一個全局變量巴拉巴拉的。

def get_liuyanban(qq):
    import time
    driver.get('http://user.qzone.qq.com/{}/334'.format(qq))
    print(qq+'的空間留言板')
    time.sleep(5)

分析網頁：登入界面的‘’iframe‘’，‘’賬號密碼登陸‘’，「輸入QQ號的輸入框」，「輸入密碼的輸入框」，「登入按鈕」的位置信息。

         

 

 

 

分別能夠得出：id = login_frame,id = switchar_plogin,id = u,id = p,id = login_bottom

try:
        driver.find_element_by_id('login_div')
        a = True
    except:
        a = False
    
    if a == True:
        driver.switch_to.frame('login_frame')
        driver.find_element_by_id('switcher_plogin').click()
        driver.find_element_by_id('u').clear()#選擇用戶名框
        driver.find_element_by_id('u').send_keys('訪問者的QQ號')
        driver.find_element_by_id('p').clear()
        driver.find_element_by_id('p').send_keys('訪問者的密碼')
        driver.find_element_by_id('login_button').click()
        time.sleep(3)
    driver.implicitly_wait(3)

判斷login_div是判斷有沒到登入界面，到了的話，切換frame到輸入框那兒，而後模擬登入，driver.implicitly是隱式等待。

QQ空間通常還會有無權限登入的問題，因此經過尋找有無id = QM_OwnerInfo_Icon的來判斷是否有權限進入。進入後一樣切換到留言板的frame，而後經過css路徑定位到咱們所要的要素：留言人，留言時間，留言內容。

try:
        driver.find_element_by_id(r'QM_OwnerInfo_Icon')
        b = True
        print('能夠訪問')
    except:
        b = False
        print('沒有訪問權限或者網絡錯誤，請重試')
        
    if b == True:
        print('開始加載')
        driver.switch_to.frame('app_canvas_frame')
        
        num = driver.find_element_by_id('cnt')
        #總留言數
        x = int(num.text)
        y = x // 10
        #print(y),獲得總頁數，就能夠根據這個能夠爬取全部留言
        #獲得留言者，留言時間，留言內容
        for i in range(5):#這邊暫時就爬取五頁，隨意修改
            names = driver.find_elements_by_css_selector('.c_tx.q_namecard')
            times = driver.find_elements_by_css_selector('.c_tx3.mode_post')
            ments = driver.find_elements_by_class_name('cont')
            print('第%s頁留言'%(i+1))
            for name,stime,ment in zip(names,times,ments):
                data = {
                        '留言人':name.text,
                        '留言時間':stime.text,
                        '留言內容':ment.text
                        }
                print(data)
            page_down = driver.find_element_by_xpath(r".//*[@id='pager_bottom']/div/p[1]/a[2]")
            page_down.click()#翻頁操做
            time.sleep(3)
            driver.implicitly_wait(3)
           
        
        
        print('OK')
    print("==========完成================")

    driver.close()
    driver.quit()

這邊還讀取了總留言數，而一頁是呈現10條留言，這樣就能夠算出全部頁數，模擬點擊下一頁的按鈕，進入下一頁繼續讀取。固然這邊也能夠把這些信息存成文件，或者加一些其它的操做。

這個程序也有一點點小問題，等待時間太久，爬取的時間有些爲空，留言內容有表情，或者圖片的時候呈現不對。若是再修修改改應該沒問題。